(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581903.8 (22)申请日 2022.05.26 (71)申请人 华北水利水电大 学 地址 450045 河南省郑州市金 水区北环路 36号 (72)发明人 吴慧欣　安丽鑫　姜维　王喆　 陈继坤　刘孟轩　李琳　张慢丽　 李文静　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 张立强 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于RGB-T多源图像数据的显著性目标检测 方法 (57)摘要 本发明公开一种基于RGB ‑T多源图像数据的 显著性目标检测方法， 采取基于注 意力信息的特 征融合， 将VGG ‑DCNet提取到的初级特征用注意 力机制进行重要特征的加权， 得到可见光图像和 红外图像的注 意力特征图， 进而将各阶段的多层 特征进行结合， 并向后传递， 采用多尺度池化的 方法获取全局先验信息， 并用于上采样过程， 前 向传递过程中， 为了提取局部特征， 将各阶段不 同尺度空间的信息进行不同采样率的池化操作， 得到丰富的局部信息， 在全局先验信息的指导 下， 向前传递， 得到最终的显著性预测图。 本发明 具有良好的显著性目标检测能力， 特别是在光照 不足、 交叉图像边界、 中心偏移等复杂场景下检 测效果优势明显 。 权利要求书2页 说明书15页 附图4页 CN 114898106 A 2022.08.12 CN 114898106 A 1.一种基于RGB ‑T多源图像数据的显著性目标检测方法， 其特 征在于， 包括： 步骤1： 在传统的双通道VGG ‑16网络架构的基础 上， 采用可变形卷积替换VGG ‑16中部分 卷积层， 并去掉最后的全连接层， 构成基于可变形卷积的VGG ‑DCNet网络， 将可见光图像和 热红外图像作为VGG ‑DCNet网络双通道的输入， 利用VGG ‑DCNet网络提取可见光图像和热红 外图像的初级特 征； 步骤2： 将提取的可见光图像和热红外图像的初级特征输入注意力特征融合模块， 经过 标准化注意力机制后分别得到可见光图像和热 红外图像对应的注意力特征图， 再将可见光 图像和红外图像 每层的注意力特 征图进行两 两融合， 得到融合后的注意力特 征图； 步骤3： 将最深层注意力特征经过多层金字塔池化操作后获取的全局语义信息融入到 可见光图像和红外图像局部特征提取 的过程中， 从而在融合全局 ‑局部特征模块中将可见 光图像和红外图像的全局多尺度的特征和局部多层次的特征进行融合， 并输出最 终的显著 性预测图。 2.根据权利要求1所述的基于RGB ‑T多源图像数据的显著性目标检测方法， 其特征在 于， 所述步骤1包括： 采用可变形 卷积替换VG G‑16中最后一个阶段的三层卷积。 3.根据权利要求1所述的基于RGB ‑T多源图像数据的显著性目标检测方法， 其特征在 于， 所述注 意力特征融合模块用于在标准化注 意力机制NAM的作用下， 得到经过加强的有益 特征而抑制无关特征， 获取注意力特征图， 并将网络中间级获取 的包含注意力信息的特征 图进行特征级融合。 4.根据权利要求1所述的基于RGB ‑T多源图像数据的显著性目标检测方法， 其特征在 于， 所述注意力特征融合模块中， 按照如下方式进行可见光图像和红外图像每层的注意力 特征图的融合： 其中NR i表示第i阶段可见光图像的注意力特征， NT i表示第i阶段红外图像的注意力特 征， Ai表示第i阶段融合后的注意力特 征。 5.根据权利要求1所述的基于RGB ‑T多源图像数据的显著性目标检测方法， 其特征在 于， 按照如下 方式获取全局语义信息： 利用金字塔池化的方法， 采用四个子分支的池化操作得到不同尺度的特 征图， 包括： 1)将输入特征图在四个尺度下进行池化， 得到 四个尺度的输出Pi， i＝1,2,3,4， 其中第 一层为全局平均池化， 其他三层均为平均池化操作， 每个输出的尺寸不同， 但通道维度相 同； 2)对池化后的特征进行通道维度的缩减， 利用1*1的卷积操作， 将通道数减少为原始特 征的1/N， 其中N 为池化操作的层数； 3)应用双线性插值的方法进行上采样， 使四层特征的大小变换为与原始特征图大小一 致， 最后将四层特 征图在通道维度进行拼接 。 6.根据权利要求1所述的基于RGB ‑T多源图像数据的显著性目标检测方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114898106 A 2于， 按照如下 方式提取 可见光图像和红外图像局部特 征： VGG‑DCNet网络自顶向下每个阶段融合后的注意力特征先以不同的下采样率进行平均 池化得到不同尺度 空间的特征， 经卷积操作后再上采样恢复至原来的尺度并进行融合， 最 后经过一个3*3的卷积得到包 含不同尺度信息的局部特 征图。权　利　要　求　书 2/2 页 3 CN 114898106 A 3