(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210207336.X (22)申请日 2022.03.04 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 马小林　蔡永培　旷海兰　刘新华　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06T 7/11(2017.01) G06T 3/40(2006.01) G06T 3/00(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 一种复杂场景 下的红外目标检测方法 (57)摘要 本发明提供了一种复杂场景下的红外目标 检测方法， 本发 明通过改进的主干特征提取网络 对输入红外图像进行特征提取， 结合特征金字塔 网络结构与路径聚集网络结构， 实现不同尺度特 征信息的融合， 同时优化网络的损失函数， 最后 对不同尺度的特征图进行预测， 并使用基于 Distance ‑IoU(DIoU)的非极大值抑制 提升对密 集遮挡物体的检测， 可广泛应用于自动驾驶、 夜 间安防等领域。 权利要求书2页 说明书7页 附图4页 CN 114898105 A 2022.08.12 CN 114898105 A 1.一种复杂场景 下的红外目标检测方法， 其特 征在于， 包括如下步骤： (1)对输入红外图像进行Mosaic数据增强； (2)对特征提取网络CSPDarknet53结构进行优化改进， 在特征提取网络中加入注意力 机制ECA模块； 使用Focus结构对输入图像进 行切片操作， 再经过多次卷积处理， 然后利用优 化的CSPDarknet53特征提取网络进行特征信息的提取， 得到不同尺度的特征图， 并在特征 提取网络后加入S PP模块， 解决目标尺度变化带来的精度下降的问题； (3)将(2)中最后所得的最小特征图通过特征金字塔网络结构与路径聚集网络结构， 将 高层的强语义特征信息与低层的强定位特征进 行融合， 结合两种网络结构最 终得到同时具 备强语义特 征和强定位特 征的不同尺度的检测层； (4)优化损失函数， 使用Varifocal  Loss作为检测物体 的置信度和类别概率的损失函 数， 实现多尺度检测， 得到不同的预测框； (5)对(4)所得预测框进行非极大值抑制处理， 通过基于DIoU的非极大值抑制对预测框 进行筛选， 消除置信度低的预测框， 得到精确度更高的预测框； (6)使用FLIR红外图像数据集对(2) ‑(5)中的整体 网络结构进行训练， 使用训练得到的 整体网络结构进行检测， 得到测试 结果。 2.如权利要求1所述的一种复杂场景下的红外目标检测方法， 其特征在于： 步骤(1)的 具体实现方式如下； (1‑1)对输入红外图像预处 理， 对图像进行自适应缩放， 统一缩放 为640×640的尺寸； (1‑2)对缩放后的图像进行数据增强， 每4张图片通过随机缩放、 裁剪、 排布的方式进行 拼接， 丰富检测数据集， 提升小目标的检测效果。 3.如权利要求1所述的一种复杂场景下的红外目标检测方法， 其特征在于： 步骤(2)的 具体实现方式如下； (2‑1)对主干特征提取网络CSPDarknet53结构进行改进， 在卷积层之间添加注意力机 制ECA模块， 将特 征提取网络中的10层网络变为13层网络； (2‑2)使用Focus结构将步骤(1)所得图像进行切 片操作把 高分辨率的特征图拆分为多 个低分辨率的特征图， 在通道维度上进行拼接再经过一次卷积得到320 ×320的特征图， 然 后经过步长为2的3 ×3卷积核对得到的320 ×320特征图进行4次下采样， 并使用优化后的 CSPDarknet53网络结构进行特征提取分别得到160 ×160、 80×80、 40×40、 20×20的特征 图； (2‑3)在特征提取网络后加入SPP模块， 首先对改进的CSPDarknet53网络进行特征提取 所得到的20 ×20特征图经过1 ×1的卷积核进行降维， 然后经过四种不同大小的池化层得到 全局特征和局部特征， 具体地， 经过1 ×1大小的池化层获取全局特征， 经过5 ×5、 9×9、 13× 13大小的池化层获取不同大小的特征图得到局部特征， 经过不同的通道获取不同的特征信 息， 然后将局部特征与全局特征进 行融合， 再经过一次卷积得到新的20 ×20特征图， 增强特 征表达能力， 扩大 特征图的感受野， 解决目标尺度变化带来的精度下降的问题。 4.如权利要求3所述的一种复杂场景下的红外目标检测方法， 其特征在于： 步骤(3)的 具体实现方式如下； 将步骤(2 ‑3)中所得20 ×20特征图通过特征金字塔自顶向下将高层的特征信息通过上 采样的方式进行传递融合， 将20 ×20特征图进行上采样得到40 ×40特征图， 再与(2 ‑2)中特权　利　要　求　书 1/2 页 2 CN 114898105 A 2征提取网络所得40 ×40特征图进 行融合， 将融合所得40 ×40特征图进行上采样得到80 ×80 特征图， 与(2)中特征提取网络所得8 0×80特征图进行融合得到融合的8 0×80特征图， 然后 通过路径聚集网络将融合所得8 0×80特征图进 行下采样得到40 ×40特征图， 并与特征金字 塔中经过融合所得到的40 ×40特征图进行融合， 再将融合所得40 ×40特征图进 行下采样得 到的20×20特征图与(2 ‑3)中经过SPP模块处理所得20 ×20特征图进行融合得到融合的20 ×20特征图； 通过两种网络结构结合， 最终得到同时具备强语义特征和强定位特征的20 × 20、 40×40、 80×80三个不同尺度的检测层， 实现不同大小目标类别和位置的预测。 5.如权利要求1所述的一种复杂场景下的红外目标检测方法， 其特征在于： 步骤(4)的 具体实现方式如下； 损失函数Varifocal  Loss的计算公式如下： 其中p是预测的分类得分， q为目标分数， γ为常数； Varifocal  Loss非对称地处理正负 样本， 只对负样本进行pγ的衰减， 并对正样本使用q进行加权， 使得训练可以聚焦在质量高 的样本上， 同时使用权 重因子α 对负 样本进行加权， 平衡总体的正负 样本。 6.如权利要求1所述的一种复杂场景下的红外目标检测方法， 其特征在于： 步骤(5)的 具体实现方式如下； DIoU的计算公式为： 其中IoU为预测框P与Q的交并比， 计算公式为： d表示两个预测框 中心点之间的距离， c表示同时包含两个预测框的最小框的对角线长 度， 对于得分最高的预测框 M， 将DIoU‑NMS的公式定义 为: 其中si是分类得分， ε是NMS的阈值， RDIoU表示的是得分最高的预测框M与预测框Bi中心 点之间距离的关系， 用下面的公式表示： 通过同时考虑IoU和两个预测框的中心点之间的距离来删除冗余的预测框， 将得分最 高的预测框M和 其他框Bi的DIoU值与NMS的阈值进行比较， 如果较小则保持得分si， 否则当 DIoU值大于阈值时将si值设为0， 即被过 滤掉。 7.如权利要求1所述的一种复杂场景下的红外目标检测方法， 其特征在于： 采用随机梯 度下降(SGD)优化器对整体网络结构参数进行迭代更新训练， 利用训练得到的整体网络结 构进行测试 得到检测结果。权　利　要　求　书 2/2 页 3 CN 114898105 A 3