(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070318.8 (22)申请日 2022.09.02 (71)申请人 上海交通大 学宁波人工智能研究院 地址 315012 浙江省宁波市海曙区南门街 道南站西路2 9号 (72)发明人 田亚伟　王东初　伏玉笋　 (74)专利代理 机构 上海剑秋知识产权代理有限 公司 31382 专利代理师 徐浩俊 (51)Int.Cl. H04L 9/40(2022.01) (54)发明名称 一种基于区块链和强化学习的纵深防御安 全系统和方法 (57)摘要 本发明公开了一种区块链和强化学习的纵 深防御安全系统， 涉及信息安全技术领域， 包括 设备风险评估模块、 工业防火墙模块、 工控网络 模块、 工业态势感知模块、 工控可信度量模块、 可 信访问代理模块、 访问用户安全身份基础设施模 块和区块链溯源存证记录模块。 本发 明还公开了 一种区块链和强化学习的纵深防御安全方法， 包 括S100、 准备工作； S2 00、 访问用户访问工控网络 中的设备； S300、 终端设备接入工控网络； S400、 评估工控网络安全态势； S500、 实时信任度量； S600、 动态调整信任决策； S700、 执行信任决策； S800、 持续监控和防御。 本发明提高了工控网络 的纵深安全性和智能性。 权利要求书3页 说明书10页 附图2页 CN 115396230 A 2022.11.25 CN 115396230 A 1.一种基于区块链和强化学习的纵深防御安全系统， 其特 征在于， 包括： 设备风险评估 模块， 对终端设备进行风险评估认证， 生成不同等级的认证 证书； 工业防火墙模块， 对工控 网络横向隔离， 内置工业通讯协议的解析和过滤， 采用深度的 包检测技 术和应用层通讯的跟踪技 术， 拦截非法指令； 工控网络模块， 基于零信任 “永不信任， 持续验证 ”的理念对于访问用户的行为实时监 测和信任度量， 并动态的调整访问决策； 工业态势感知模块， 通过对工控系统数据提取特征， 通过机器学习方法构建工控系统 态势模型， 输出当前工控系统安全态 势作为工控可信度量模块激励机制的数据基础； 用户安全身份基础设施模块， 进行所述访 问用户身份管理与权限管理， 通过身份管理 对所述访问用户的身份化和身份生命周期进 行管理， 通过权限管理对所述访问用户跟踪分 析； 工控可信度量模块， 通过强化学习方法对所述访问用户与所述工控 网络中的设备交互 进行实时信任度量， 并根据信任度量结果动态调整信任决策； 可信访问代理模块， 作为信任决策的执行模块， 启用、 监控和终止所述访问用户与工控 网络中设备的连接； 区块链溯源存证记录模块， 接收并保存需要上链存证的关键数据信息， 发布到区块链 网络， 并为 监管方提供安全审计接口； 所述设备风险评估模块、 所述工业防火墙模块、 所述工控 网络模块、 所述工业态势感知 模块、 所述工控可信度量模块、 所述可信访问代理模块依次通信连接， 所述用户安全身份基 础设施模块与所述工业态势感知模块、 所述工控可信度量模块通信连接， 所述设备风险评 估模块、 所述工业防火墙模块、 所述工控可信度量模块、 所述可信 访问代理模块和所述访问 用户安全身份 基础设施模块分别与所述区块链溯源 存证记录模块 通信连接； 响应于所述终端设备进入所述工控 网络， 所述设备风险评估模块对所述终端设备的信 息进行全面扫描， 基于各种风险因素进 行风险评估认证， 生成设备认证证书， 所述 终端设备 根据认证证书的等级， 通过所述工业防火墙模块， 接入对应的零信任域， 进行交互和操作， 保证接入所述工控网络的终端设备的安全； 响应于所述访问用户的访问请求， 所述工业态势感知模块收集所述工控 网络模块的各 种安全参数， 构建安全感知模型进行态势评估， 输出安全结果发送给所述工控可信度量模 块， 所述工控可信度量模块实时度量所述访问用户的信任度， 使用强化学习方法实时评估 所述访问用户当前 是否可信， 保证访问用户的安全； 所述工控可信度量模块结合所述工业态势感知模块的模型数据， 设定激励模型进行训 练， 智能诊断工控网络中的设备故障， 根据训练结果生成优化的权限管理规则； 所述区块链 溯源存证记录模块记录上链存证的关键数据， 用于安全流 程的可信存证和审计。 2.如权利要求1所述的区块链和强化学习的纵深防御安全系统， 其特征在于， 所述设备 风险评估 模块包括： 设备信息库， 存储终端设备信息， 包括终端设备的种类、 型号、 软件版本、 功能、 品牌数 据以及终端设备的漏洞、 补丁 安全数据； 设备扫描子模块， 与接入的所述终端设备直连， 扫描所述终端设备的固件信息和通信 报文， 以匹配所述设备信息库中的设备信息；权　利　要　求　书 1/3 页 2 CN 115396230 A 2风险评估子模块， 基于所述设备信息库中的漏洞、 补丁安全数据结合预设的风险因子 计算得到所述终端设备的风险等级； 设备登记子模块， 基于所述风险评估子模块传输的所述终端设备信息， 对接入的所述 终端设备选择合 适的加密算法， 进行加密生成密钥； 所述证书生成子模块基于所述设备扫描子模块、 所述风险评估子模块、 所述设备登记 子模块生成的扫描信息、 初始 风险等级、 密钥生成不同等级的认证证书， 并把所述认证证书 发送到所述区块链存证记录模块。 。 3.如权利要求2所述的区块链和强化学习的纵深防御安全系统， 其特征在于， 所述工控 网络模块包括高可信零信任域、 低可信零信任域， 认证证书等级高的终端设备为低风险设 备， 接入所述高可信零信任域网络， 认证证书等级低的终端设备为高风险设备， 接入所述低 可信零信任域网络 。 4.如权利要求3所述的区块链和强化学习的纵深防御安全系统， 其特征在于， 所述低可 信零信任域对所述工控网络中的设备之间以及所述工控网络中的设备与所述访问用户间 的交互采用复杂的加密、 验证算法， 保证工控系统的安全， 所述高可信零信任域对所述工控 网络中的设备间以及所述工控网络中的设备与所述访问用户间的交互采用轻量级的加密、 验证算法， 兼顾工控系统安全同时保证效率。 5.如权利要求4所述的区块链和强化学习的纵深防御安全系统， 其特征在于， 所述工控 可信度量模块包括： 强化学习子模块， 采用强化学习方法对所述访 问用户进行实时信任度量， 并将度量结 果传送到动态访问控制子模块； 动态访问控制子模块， 管理访 问用户的权限， 所述强化学习子模块输出的度量结果作 为权限管理的基础， 授予所述访问用户不同的权限， 最终将权限发送所述可信访问代理模 块执行。 6.如权利要求5所述的区块链和强化学习的纵深防御安全系统， 其特征在于， 所述工业 态势感知模块包括： 数据预处理子模块， 对所述工控系统数据进行预处理， 提取工控系统态势模型所需的 特征发送模型构建子模块， 工控系统数据包括工控网络中的设备运行状态、 系统漏洞、 访问 用户操作信息、 企业资产配置信息、 网络 拓扑结构； 模型构建子模块， 通过机器学习方法构建工控系统态势模型， 得到工控系统态势模型 各个参数权重， 输出安全可视化数据、 模型和态势判定结果供了解系统运行安全状态， 判定 结果上链存证， 同时作为强化学习奖励机制的数据基础。 7.一种的基于区块链和强化学习的纵深防御安全方法， 使用如权利要求6所述的区块 链和强化学习的纵深防御安全系统， 其特征在于， 包括如下步骤， 其中S200与S 300无先后顺 序要求： S100、 准备工作， 包括工控系统态 势模型训练和强化学习DQ N模型训练； S200、 访问用户访问工控网络中的设备， 所述访问用户通过所述用户安全身份基础设 施模块发起对所述工控网络中的设备的访问请求； S300、 终端设备接入工控网络， 所述设备风 险评估模块对所述终端设备进行风 险评估 认证， 生成设备认证 证书， 根据认证 证书的等级， 接入所述工控网络模块；权　利　要　求　书 2/3 页 3 CN 115396230 A 3