(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210354670.8 (22)申请日 2022.04.06 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 白相志　孙衡　白君香　 (74)专利代理 机构 北京慧泉知识产权代理有限 公司 11232 专利代理师 王顺荣　唐爱华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制卷积神经网络的红外 弱小目标检测方法 (57)摘要 本发明提出一种基于注意力机制卷积神经 网络的红外弱小目标检测方法； 步骤一： 搭建基 于注意力机制的卷积神经网络； 首先使用骨干网 络对输入图像进行特征提取； 提取的三层特征经 过注意力模块进行特征增强； 随后通过扩大感受 野模块进行感受野增强； 然后通过特征融合模块 进行高低级特征融合； 最后通过全 卷积网络逐像 素预测， 得到全图像像素级别的概率预测图； 步 骤二： 构造损失函数对网络进行训练； 利用得到 的预测结果与像素级 标注图像进行损失计算， 以 实现对网络参数的反馈训练； 输出： 用训练好的 神经网络处理红外图像； 在 使用训练数据对注意 力机制卷积神经网络进行充分迭代训练之后， 得 到训练好的网络用于 检测目标像素。 权利要求书3页 说明书8页 附图5页 CN 114863097 A 2022.08.05 CN 114863097 A 1.一种基于注意力机制卷积神经网络的红外弱小目标检测方法， 其特征在于： 该方法 具体步骤如下： 步骤一： 搭建基于注意力机制的卷积神经网络； 首先使用 骨干网络对输入图像进行特 征提取； 提取 的三层特征经过注意力模块进行特征增强； 随后通过扩大感受野模块进行感 受野增强； 然后通过特征融合模块进 行高低级特征融合； 最后通过全 卷积网络逐像素预测， 得到全图像 像素级别的概 率预测图； 步骤二： 构造损 失函数对网络进行训练； 利用得到的预测结果与像素级标注图像进行 损失计算， 以实现对网络参数的反馈训练； 输出： 用训练好的神经网络处理红外 图像； 在使用训练数据对注意力机制卷积神经网 络进行充分迭代训练之后， 得到训练好的网络用于检测目标像素。 2.根据权利要求1所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方 法， 其特征在于： 在步骤一中， 具体包括如下步骤： 1.1： 构建骨干网络对输入图像进行特征提取； 骨干网络由三个残差块单元构成， 每个 残差块单元 由不同尺度的卷积单元与残差块组成， 以提取不同尺度的特征； 输入图像首先 经过一个卷积核大小为3 ×3， 步长为1的卷积单元， 生成通道数为16的特征图； 接着依次通 过3个残差块单 元， 生成通道数为32、 64、 128的三组特 征图； 1.2： 注意力模块； 针对弱小目标特征的注意力模块， 考虑到浅层特征保留了更多 的构 造目标边界的细节信息， 深层特征保留了更多的定位 目标语义的信息， 对不同层特征进行 区分处理， 以增强与小目标相关的特征信息； 首先， 针对三层特征 的感受野不同， 将空间注 意力中卷积单元的卷积核大小按照从浅层到深层依次设置为7 ×7、 5×5、 3×3； 同时， 由于 浅层特征图包含着更多的纹理细节信息， 因此浅层特征 的处理首先应用通道注意力机制， 接着应用空间注意力机制； 然而对于深层特征， 由于其体现着更多的语义信息， 处理 时首先 应用空间注意力机制， 然后再应用通道 注意力机制； 1.3： 扩大感受野模块； 设计4个分支结构， 使用1 ×1、 3×3、 5×5卷积， 合理扩大感受野； 首先对处理后的前三个分支进行拼接操作， 对拼接后的特征信息再进行1 ×1卷积降维， 最 后与第四个分支相加， 得到扩大了感受野后的特 征图； 1.4： 特征融合模块； 综合考虑红外弱小目标各层特征图表征的不同信息， 增加了代表 更多语义信息的深层特征在最终特征图中的比重， 即在对各层特征进行融合后， 再与进行 特征融合中原有的深层特征进 行逐点加和操作， 以增强图像的语义信息； 对于深层特征， 在 两次卷积操作之 间， 增加了自适应平均池化的操作， 有利于在前后通道数不改变的前提下， 在特征信息中保留更多的背景信息； 然后将处理后的深层特征与原有的浅层特征相乘， 同 理， 处理后的浅层特征也与原有的深层特征相乘， 接着将两者结果进行拼接； 最后， 将拼接 后的特征与 原有的深层特征进 行加法操作； 在整个网络中， 一共提取了三个尺度的特征， 首 先在最深层的两层特征之 间进行特征融合操作， 然后 将融合的结果与浅层特征再次进 行同 样的特征融合操作， 以得到最终应用于结果预测的特 征图； 1.5： 通过全卷积网络进行检测； 将融合后的特征利用全卷积网络FCN逐像素预测， 得到 全图像像素级别的概 率预测图。 3.根据权利要求2所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方 法， 其特征在于： 在步骤1.1 中： 每个卷积单元由卷积层， 批量归一化层、 LeakyReLu操作组合权　利　要　求　书 1/3 页 2 CN 114863097 A 2而成； 三组特征图F1、 F2、 F3； F通过第一个残差块单元生成特征图F1(宽 长 随后F1送入 第二个残差块单元生成下一尺度特征图F2(宽 长 随后F2送入第三个残差块单元生成 F3(宽 长 每个残差块单元先使用1次卷积核大小为3 ×3， 步长为2的卷积单元， 目的是 对图像进 行下采样； 再经过2个残差块提取特征， 得到该尺度的特征图； 每个残差块由2个卷 积单元组成， 卷积核 大小为1×1、 步长为 1， 第一个卷积单元将特征图通道数降为原有一半， 第二个卷积单 元恢复原特 征图通道数， 与输入进行残差连接 。 4.根据权利要求2所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方 法， 其特征在于： 在步骤1.3中， 首先， 卷积层、 ReLu操作、 批量归一化层构成卷积单元； 第一 分支使用1 ×1卷积单元， 第二分支依次使用1 ×1卷积单元、 1 ×3卷积单元、 3 ×1卷积单元、 3 ×3膨胀卷积单元， 第三分支依次使用1 ×1卷积单元、 1 ×5卷积单元、 5 ×1卷积单元、 3 ×3膨 胀卷积单元， 第四分支使用1 ×1卷积单元； 原始特征图 分别经过四个分支， 对前三个分支 的输出结果在通道维度上进行拼接操作， 对拼接后的通道数增加的特征图使用1 ×1卷积降 维， 使通道数等于原始输入通道数； 最后将前三分支拼接后降维的结果与第四个分支进行 逐点加和操作， 得到扩大感受野后的特 征图 5.根据权利要求3所述的一种基于注意力机制卷积神经网络的红外弱小目标检测方 法， 其特征在于： 在步骤1.4中， 特征融合模块的具体实现方式为： 对扩大感受野后的由浅及 深三层特征 第一步在最深层的两层特征 之间进行特征融合操作： 先对 其中较深层特征 使用卷积核大小为1 ×1、 步长为1的卷积单元进行上采样， 使特征 通道 数与 保持相同， 之后使用自适应平均池化操作， 有利于在特征信息中保留更多的背景信 息， 然后使用两个卷积核大小为1 ×1、 步长为1 的卷积单元进行处理； 对其中较低层特征 使用两个卷积核 大小为1×1、 步长为 1的卷积单元进 行处理； 将处理后的较深层特征与 原有 的较浅层特征 相乘， 处理后的浅层特征也与原有的深层特征 相乘， 接着将两者结果进 行拼接； 最后， 将拼接后的特征与原有的较深层特征 进行加法操作， 至此完成 与 特 征的融合操作； 第二步， 将第一步融合的结果 与最浅层特征 再次进行特征融合操作： 先对其中较深层特征 使用卷积核大小为1 ×1、 步长为1的卷积单元进行上采样， 使特征 通道数与 保持相同， 之后使用自适应平均池化操作， 然后使用两个卷积核大小为1 × 1、 步长为1的卷积单元进行处理； 对其中较低 层特征 使用两个卷积核大小 为1×1、 步长为 1的卷积单元进行处理； 将处理后的较深层特征与原有的较浅层特征 相乘， 处理后的浅层 特征也与原有的深层特征 相乘， 接着将两者结果进行拼接； 最后， 将拼接后的特征与原 有的较深层特征 进行加法操作， 至此完成第一步得到的特征 与 特征的融合操作， 得到最终应用于结果预测的特 征图。 6.根据权利要求2或5所述的一种基于注意力机制卷积神经网络的红外弱小目标检测 方法， 其特征在于： 在步骤1.5中， 融合特征经过3 ×3卷积单元后通道数降至原始的四分之权　利　要　求　书 2/3 页 3 CN 114863097 A 3