(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067124.2 (22)申请日 2022.09.01 (71)申请人 国网江苏省电力有限公司苏州供电 分公司 地址 215000 江苏省苏州市 劳动路555号 (72)发明人 潘裕庆　张苏宁　薛劲松　 (74)专利代理 机构 苏州创元专利商标事务所有 限公司 3210 3 专利代理师 乔峰 (51)Int.Cl. H04L 9/40(2022.01) G06N 3/08(2006.01) (54)发明名称 一种电力网络虚假数据注入攻击 检测方法 (57)摘要 本发明公开了一种电力网络虚假数据注入 攻击检测方法， 包括： 以强化学习的方式对环境 建立深度学习模型， 智 能体与环境进行交互， 依 据电力数据采集与监视控制系统收集的数据集 构建出强化学习的多元组， 并将多元组收集至经 验池， 作为后续训练的采样轨迹； 将经验池中的 采样轨迹分别输入至行动者智能体和评论家智 能体， 通过长短期记忆网络模块和多层线性网络 模块进行训练各自对应的智能体， 然后通过损失 函数使得行动者智能体和评论家智能体进行交 互合作以更新各自的网络参数， 以优化深度学习 模型的数据检测功能。 本发明提供的检测方法利 用长短期记忆网络模块将历史的状态输入也作 为检测的依据， 提升了系统对于注入攻击的检测 识别准确率。 权利要求书2页 说明书6页 附图3页 CN 115459982 A 2022.12.09 CN 115459982 A 1.一种电力网络虚假数据注入攻击检测方法， 其特 征在于， 包括以下步骤： 以强化学习的方式对环境建立深度学习模型， 其中， 所述强化学习采用基于最大熵离 线式行动者评论家方法进行模型 的迭代更新， 所述环境为电力系统被虚假数据注入攻击； 在所述深度学习模型中， 智能体与所述环境进行交互， 依据电力数据采集与监视控制系统 收集的数据集构建出强化学习的多元组， 并将所述多元组收集至经验池， 作为后续训练的 采样轨迹； 所述多元组包括状态值、 智能体的判断、 奖励值以及下一步状态， 其中， 所述状态值包 括数据集中的多个输入特征， 所述智能体的判断包括对于 当前电力系统是否受到攻击的判 断， 在所述智能体做出决策之后， 电力系统进入下一步状态， 所述奖励值为所述智能体在交 互中获得的对应奖励； 所述智能体包括行动者智能体和评论家智能体， 所述行动 者智能体和评论家智能体均 包括长短期记忆网络模块和多层线性网络模块； 将所述经验池中的采样轨迹分别输入至所 述行动者智能体和评论家智能体， 通过长 短期记忆网络模块和多层线性网络模块进行训练 各自对应的智能体， 然后通过损失函数使得所述行动者智能体和评论家智能体进 行交互合 作以更新各自的网络参数， 以优化所述深度学习模型的数据检测功能。 2.根据权利要求1所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 所述环境 为针对自动电压控制的虚假数据注入攻击， 所述状态值为电力系统的观测值， 其包括母线 上的电压幅值、 总线功率注入值、 节点间的真实功率、 无功功率； 所述智能体决策获得的对 应奖励的计算方式如下： A.若数据被篡改， 智能体判定为受到攻击， 则 智能体得到奖励值a； B.若数据被篡改， 智能体判定为未受到攻击， 则 智能体得到奖励值b； C.若数据未被篡改， 智能体判定为受到攻击， 则 智能体得到奖励值c； D.若数据未被篡改， 智能体判定为未受到攻击， 则 智能体得到奖励值d； 其中， a>d>0， c <b<0。 3.根据权利要求1所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 在所述长 短期记忆网络模块中， 其对应的输入为状态值zt和历史输入信息的留存特征ht‑1， 对应的输 出是提取的特 征pt， 并根据提取的特 征pt得到本次输出对应的历史信息的存留特 征ht。 4.根据权利要求3所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 使用所述 多层线性网络模块对所述长 短期记忆网络模块提取的特征继续提取特征并做出判断， 根据 判断的离散属 性， 最终行动者的输出为一个分类分布， 从该分类分布中采样以得到所述智 能体对于当前 数据是否被篡改的判断， 执 行判断之后， 环境将返回下一 步状态。 5.根据权利要求1所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 若每次从 经验池采样的轨迹集合为B， 则所述行动者智能体的损失函数由评论家对状态动作对的Q值 评估和行动者输出的熵组成， 其计算公式如下 所示， 其中ψi对应第i个评论家网络， α 对应网络输出分布的熵， 对应输入状态为z时行动 者网络的输出。权　利　要　求　书 1/2 页 2 CN 115459982 A 26.根据权利要求5所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 所述评论 家智能体的损失函数计算公式如下 所示， 其中， γ代 表折扣系数， V对应 状态zt+1的价值。 7.根据权利要求6所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 根据 所述 行动者智能体和评论家智能体的损失函数计算损失之后， 再使用梯度下降方法计算梯度， 以此指导所述智能体中网络参数的更新。 8.根据权利要求1所述的电力网络虚假数据注入攻击检测方法， 其特征在于， 所述行动 者智能体和评论家智能体内部结构相同， 而两者输入输出的维度不同。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至8任一项所述 的检测方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时实现权利要求1至8任一项所述的检测方法。权　利　要　求　书 2/2 页 3 CN 115459982 A 3