(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321720.9 (22)申请日 2022.10.27 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 焦安健　李贤超　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06T 7/00(2017.01)G06V 10/764(2022.01) (54)发明名称 一种基于自动驾驶场景多模态融合的抗干 扰目标检测方法 (57)摘要 本发明属于目标检测技术领域， 涉及一种基 于自动驾驶场景多模态融合的抗干扰目标检测 方法， 采用可见光和近红外图像互补多模态结合 的探测手段， 从特征层面多模态数据进行充分利 用， 针对近红外和可见光的不同表观特征， 设计 不同的主干网络分别用于提取可见光和近红外 图像的基础特征， 用于提取基础特征； 并针对两 组图像信息丰富程度不一、 学习困难程度不一致 的问题， 在不同的分支使用学习速率约束模块， 用于控制不同模态分支的更新速率； 然后使用模 态融合模块将两组特征进行融合， 实现相似特征 和互补特征的保留， 即求同存异， 实现两个模态 的信息的充分利用， 检测精度高， 降低了在复杂 干扰场景的检测漏检率。 权利要求书2页 说明书4页 附图3页 CN 115393684 A 2022.11.25 CN 115393684 A 1.一种基于自动驾驶场景多模态融合的抗干扰目标检测方法， 其特征在于， 具体过程 为： （1） 数据集构建： 使用可见光近红外同光轴相机采集不同场景下的自动驾驶场景图像数据， 并对数据进 行标注后构建数据集， 并将数据集按照6： 2： 2的数量比分为训练集、 验证集和 测试集； （2） 差异化特 征提取： 将可见光图像和近红外图像分别输入不同的差异化特征提取网络提取特征， 得到两组 基础特征； （3） 学习速率约束： 将步骤 （2） 得到的两组基础特征分别输入学习速率约束模块， 用于控制不同模态分支 的更新速率； （4） 模态特 征融合： 将步骤 （3） 经过学习速率约束模块的基础特征输入模态特征融合模块， 将两个模态 的 特征融合得到模态融合特 征用于后续的目标检测； （5） 目标检测： 将步骤 （4） 得到的模态融合特征输入目标检测模块， 在提取的特征后连接两层卷积核 为3×3的卷积层， 在输出特征图的每一个位置设定三个不同长宽比的锚框， 然后使用两个 参数不共享的全连接层学习目标框位置信息和分类信息， 其中目标框位置信息为真实目标 位置与锚框的偏差， 分类信息为目标框的不同类别； （6） 训练和 测试网络， 输出检测结果： 使用步骤 （1） 采集到的训练数据进行训练， 将尺寸为640 ×512的近红外图像和可见光 图像依次输入差异化特征提取网络、 学习速率约束模块、 学习速率约束模块和目标检测模 块， 最终输出预测的目标位置和类别， 使用真实目标位置和类别与预测的结果进行误差计 算， 使用Focal损失计算类别误差， 使用平滑 L1损失来计算预测目标位置与真实目标位置的 误差， 通过反向传播更新参数， 经过200个完整迭代后， 保存最好的模型参数， 作为最 终模型 训练好的参数， 即得到训练好的抗干扰目标检测网络参数， 然后将步骤 （1） 采集到的测试数 据进行测试， 得到目标的位置和类别。 2.根据权利要求1所述基于自动驾驶场景多模态融合的抗干扰目标检测方法， 其特征 在于， 步骤 （1） 所述不同场景包含夜晚低光照以及雨、 雪、 雾天气场景， 不同模态图像采集各 1500张， 对 数据标注的内容包含目标的位置和类别， 其中位置包含目标的中心 点和长宽， 类 别包含车辆和行 人两个类别。 3.根据权利要求2所述基于自动驾驶场景多模态融合的抗干扰目标检测方法， 其特征 在于， 步骤 （2） 提取可见光图像特征的差异 化特征提取网络包括 五个卷积模块， 每个卷积模 块包含两个卷积层、 三个激活层和 一个最大池化层； 提取近红外图像特征 的差异化特征提 取网络包括五个卷积模块， 每 个卷积模块包 含一个卷积层、 两个激活层和一个平均池化层。 4.根据权利要求3所述基于自动驾驶场景多模态融合的抗干扰目标检测方法， 其特征 在于， 步骤 （3） 所述学习速率约束模块由一层全连接层组成， 在反向梯度传播时， 针对不同 的模态其梯度乘以不同的系 数， 以控制不同模态的学习速率， 同时全连接层增加网络的非 线性拟合能力。权　利　要　求　书 1/2 页 2 CN 115393684 A 25.根据权利要求4所述基于自动驾驶场景多模态融合的抗干扰目标检测方法， 其特征 在于， 步骤 （4） 所述模态特征融合模块由两个分支组成， 其中一个分支将 两个模态的特征对 应相乘， 增加相似特征的显著性， 即 “求同”； 另一个分支是将两个模态的特征进行相加， 保 留差异性特 征， 即“存异”。权　利　要　求　书 2/2 页 3 CN 115393684 A 3