(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155410.4 (22)申请日 2022.09.22 (71)申请人 上海大学 地址 200436 上海市宝山区上 大路99号 (72)发明人 武星　李攀　 (74)专利代理 机构 上海申汇 专利代理有限公司 31001 专利代理师 翁若莹　柏子雵 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多视角特征的遥感影像篡改目标检测 方法及系统 (57)摘要 本发明揭示了一种基于多视角特征的遥感 影像篡改目标检测方法及系统， 包括： 边界检测 模块， 检测篡改目标经伪装遮蔽处理出现的边界 伪影； 噪音检测模块， 捕捉被篡改区域与遥感影 像真实区域噪声分布的差异特征； 双重注意力特 征融合模块， 利用通道注意力融合网络将通道的 特征进行融合； 多尺度监督损失， 包含三种尺度 的损失联合训练模型， 提高模型泛化性能。 本发 明提供的基于多视角特征的遥感影像篡改目标 检测方法及系统， 构建了遥感影像篡改目标异常 自动检测模 型， 可以精准检测和定位经过篡改处 理的影像区域。 权利要求书3页 说明书7页 附图2页 CN 115496980 A 2022.12.20 CN 115496980 A 1.一种基于多视角特征的遥感影像篡改目标检测系统， 其特征在于， 包括边界检测模 块、 噪声检测模块、 双重注意力特征融合模块、 结果输出模块以及多尺度监督损失模块， 其 中： 边界检测模块将残差网络不同层次的块特征以渐进方式进行组合， 从而基于客户端上 传的遥感影像检测获得隐藏目标经伪装遮蔽处理出现的边界伪影， 从而获得边界伪影特征 图； 噪声检测模块对客户端上传的遥感影像进行 噪声提取后得到噪音图像， 再捕捉隐藏目 标区域与其余正常区域的噪声分布的差异特征作为通用的非语义特征， 从而获得噪声分布 特征图； 双重注意力特征融合模块， 用于 融合边界检测模块获得的边界伪影特征图以及噪声检 测模块获得的噪声分布特 征图； 结果输出模块： 根据双重注意力特征融合模块的输出结果识别并输出遥感影像被篡改 区域坐标与篡改方式； 多尺度监督损 失模块， 用于使用三种尺度的损 失函数联合训练由边界检测模块、 噪声 检测模块、 双重注意力模块以及结果输出模块组成的检测模型。 2.如权利要求1所述的一种基于多视角特征的遥感影像篡改目标检测系统， 其特征在 于， 所述三种尺度的损失函数包括像素级损失函数、 图像级损失函数以及边界损失函数， 其 中， 像素级损失函数用于提高模型对像素级操作检测的敏感性， 图像级损失函数用于提高 模型对图像级操作检测的特殊性， 边界损失函数用于学习非语义特征不仅能够精准定位隐 藏目标， 而且保证模型的强泛化能力。 3.一种基于权利要求1所述的遥感影像篡改目标检测系统实现的基于多视角特征的遥 感影像篡改目标检测方法， 其特 征在于， 包括以下步骤： 步骤1、 基于边界检测模块、 噪声检测模块、 双重注意力特征融合模块以及结果输出模 块构建检测模型； 步骤2、 对检测模型进行训练， 包括以下步骤： 步骤201、 采集样本数据， 构建训练数据集； 步骤202、 由多尺度监 督损失模块使用三种尺度的损失函数 联合训练检测模型； 检测模型的实现包括以下步骤： 步骤2021、 利用边界检测模块基于遥感影像将不同层次的残差块的特征以渐进的方式 进行组合， 检测隐藏目标 经伪装遮蔽处理出现的边界伪影， 得到K个边界伪影特 征图； 将边界检测模块的输出 经过sigmoid函数计算每 个像素的边界检测概 率， 如下式所示： Gedge(xi)＝σ(Sobel –ResNet(xi)) 式中， Gedge(xi)表示第i个像素xi的边界检测概率； σ表示sigmoid函数； Sobel –ResNet (xi)表示带有Sobel层的ResNet 残差网络； 步骤2022、 噪声检测模块提取遥感影像中的噪声分布， 再通过残差网络捕捉隐藏目标 区域与遥感影像其余正常区域的噪声分布的差异特征， 作为通用的非语义特征， 获得最终 的K个噪声分布特 征图； 步骤2023、 由双重注意力特征融合模块融合边界检测模块获得的K个通道的边界伪影 特征图以及噪声检测模块获得的K个通道的噪声分布特 征图， 获得新的融合特 征图ffusion；权　利　要　求　书 1/3 页 2 CN 115496980 A 2将融合特征图ffusion经过双线性上采样处理后， 通过sigmoid函数得到计算每个像素点 的隐藏目标检测概 率， 如下式所示： G(xi)＝σ(bilinear–sampling(fifusion) 式中： G(xi)表示第i个像素xi的隐藏目标检测概率； fifusion表示融合特征图的第i个通 道， bilinear–sampling(fifusion)表示对fifusion进行双线性上采样处 理； 步骤2024、 结果输出模块基于融合特征 图ffusion识别并输出遥感影像被篡改区域坐标 与篡改方式； 多尺度监 督损失模块使用的三种尺度的损失函数包括： 对于像素级损失， 使用Dice损失作为像素级损失l osspixel： 式中， W、 H分别表示遥感影 像宽度和高度， yi表示特征图y第i个 像素点的值。 对于图像级损失， 使用二分类交叉熵损失作为图像级损失l ossimg： lossimg＝‑(y·log G(x)+(1‑y)·log(1‑G(x))) 式中， G(x)表示图像x 存在隐藏目标检测概 率， y表示图像是否存在隐藏目标； 对于边界损失， 使用Dice损失作为边界损失lossedge来检测伪装遮蔽处理的隐藏目标区 域边界： 式中， y′i∈{0,1}表示第i个像素是否属于隐藏目标区域边界， 由步骤2021将边界检测 模块的输出 经过sigmoid函数计算得到 。 步骤3、 将客户端实时上传的遥感影像数据输入训练后的检测模型， 检测模型在服务端 输出遥感影 像被篡改区域 坐标与篡改方式的检测结果。 4.如权利要求3所述的一种基于多视角特征的遥感影像篡改目标检测方法， 其特征在 于， 步骤201中， 通过卫星提供的遥感数据服务构建遥感影像大规模数据库， 遥感影像大规 模数据库每个样本数据包含被标注的篡改区域位置以及篡改方式， 最终基于遥感影像大规 模数据库获得训练集、 测试集以及验证集。 5.如权利要求3所述的一种基于多视角特征的遥感影像篡改目标检测方法， 其特征在 于， 步骤2021包括以下步骤： 引入Sobel层增强模型特征图中与边界伪影相关的特征， 第i个ResNet块的特征经过第 i层次的Sobel层后， 再输入到第i层次的边界伪影网络中， 获得第i层次的特 征； 第i层次的特 征与第i+1层次的特 征融合； 将第i层次与第i+1层次融合后的特征通过另一个边界伪影网络后再传入第i+2层次， 与第i+2层次的特 征融合； 最终经过多个层次后， 通过边界检测模块得到K个边界伪影特 征图： 式中： 表示第k个边界伪影特征图； Sobel –ResNet表示带有Sobel层的ResNet残差权　利　要　求　书 2/3 页 3 CN 115496980 A 3