(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602319.6 (22)申请日 2022.05.30 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号桂林电子科技大学金鸡 岭校区 (72)发明人 韩国鑫　刘夫云　伍建伟　杨音文　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 李彬 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/00(2017.01) G06T 7/30(2017.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 车辆双模态信息自适应融合及目标距离估 算方法和装置 (57)摘要 本发明公开一种车辆双模态信息自适应融 合及目标距离估算方法和装置， 包括： 获取车辆 传感双模态图像； 对所述车辆传感双模态图像进 行空间维度配准， 得到双模态像素级二维图像； 对所述双模态像素级二维图像进行图像特征提 取和图像质量判定； 根据图像质量判定结果对所 述双模态像素级二维图像的特征信息进行双模 态信息自适应融合； 对所述双模态信息自适应融 合结果进行目标检测与分类； 根据经过目标检测 与分类后的双模态信息自适应融合结果进行智 能驾驶车辆对多目标距离的估算。 采用本发明的 技术方案， 解决环境干扰和非线性运动状态下智 能驾驶车辆多目标精准检测与跟踪的问题。 权利要求书2页 说明书7页 附图3页 CN 115049702 A 2022.09.13 CN 115049702 A 1.一种车辆双模态信息自适应融合及目标距离估算方法， 其特 征在于， 包括以下步骤： 步骤S1、 获取 车辆传感双模态图像； 步骤S2、 对所述车辆传感双模态图像进行空间维度配准， 得到双模态像素级二维图像； 步骤S3、 对所述双模态像素级二维图像进行图像特 征提取和图像质量判定； 步骤S4、 根据图像质量判定结果对所述双模态像素级二维图像的特征信息进行双模态 信息自适应融合； 步骤S5、 对所述双模态信息自适应融合结果进行目标检测与分类； 步骤S6、 根据 经过目标检测与分类后的双模态信息自适应融合结果进行智能驾驶车辆 对多目标距离的估算。 2.如权利要求1所述的车辆双模态信 息自适应融合及目标距离估算方法， 其特征在于， 步骤S1中， 车辆传感双模态图像包含： 三维点云LIDAR图像和二维RGB图像； 所述三维点云 LIDAR图像通过激光雷达传感器获取， 所述 二维RGB图像通过摄 像头获取。 3.如权利要求1所述的车辆双模态信 息自适应融合及目标距离估算方法， 其特征在于， 步骤S2中， 将 激光雷达传感器实时获取的LIDAR三 维点云图像信息定义在三 维坐标系[X,Y, Z]中， 将摄像头获取的RGB图像信息定义在二维像素坐标系[M,N]中； 将LIDAR图像中所有三 维点坐标[X,Y,Z]投影到摄像头所输出RGB图像的二维像素坐标系[M,N]上， 投影变换矩阵 表示为： Ip＝Ei×Ie           (1) 其中， Ip是最终的投影矩阵， 是摄像头的内部参数矩阵， 是摄像头和激光雷达的外部矩阵， Ct和Pt分别代表t时刻下摄 像头图像和激光雷达点云， fm和fn分别代表水平和垂直方向上的焦距， (m0,n0)是RGB图像平 面的中心点， (r11……r33)代表旋转矩阵的元素， (qx,qy,qz)为平移参数； 配准后得到包括二 维球面深度L IDAR图像和二维 RGB图像在内的双模态像素级二维图像。 4.如权利要求3所述的车辆双模态信 息自适应融合及目标距离估算方法， 其特征在于， 步骤S3中， 将所述双模态像素级二维图像分别输入到ResNet152子网络中进行 特征提取。 5.如权利要求4所述的车辆双模态信 息自适应融合及目标距离估算方法， 其特征在于， 步骤S3中， 基于改进 U‑Net的深度卷积神经网络RQDN对图像质量进行判定 。 6.如权利要求5所述的车辆双模态信 息自适应融合及目标距离估算方法， 其特征在于， 步骤S4中， 根据图像质量判定结果将RGB和LIDAR图像的特征信息乘以融合权值实现双 模态 信息的自适应融合； 所述融合权值计算公式如下：权　利　要　求　书 1/2 页 2 CN 115049702 A 2WLIDAR＝1‑WRGB          (4) 其中， WRGB和WLIDAR分别表示RGB子网络和LIDAR子网络的融合权值， 为图像质量阈值， QI表示当前RGB图像的质量 值， 其中 QI∈[0， 1]。 7.如权利要求6所述的车辆双模态信 息自适应融合及目标距离估算方法， 其特征在于， 步骤S5中， 采用FPN特征图融合金字塔网络处理融合结果中目标障碍物的尺度变化， 同时对 融合结果中包含的各目标障碍物进行分类和边界框的回归， 实现对融合目标的检测与分 类。 8.一种车辆双模态信息自适应融合及目标距离估算装置， 其特 征在于， 包括： 获取模块， 用于获取 车辆传感双模态图像； 配准模块， 用于对所述车辆传感双模态图像进行空间维度配准， 得到双模态像素级二 维图像； 第一处理模块， 用于对所述双模态像素级二维图像进行图像特征提取和图像质量判 定； 融合模块， 用于根据图像质量判定结果对所述双模态像素级二维图像的特征信 息进行 双模态信息自适应融合； 第二处理模块， 用于对所述双模态信息自适应融合结果进行目标检测与分类； 估算模块， 用于根据 经过目标检测与分类后的双模态信 息自适应融合结果进行智能驾 驶车辆对多目标距离的估算。 9.如权利要求8所述的车辆双模态信 息自适应融合及目标距离估算装置， 其特征在于， 所述车辆传感双模态图像包含： 三维点云LIDAR图像和二维RGB图像； 所述三维点云LIDAR图 像通过激光雷达传感器获取， 所述 二维RGB图像通过摄 像头获取。权　利　要　求　书 2/2 页 3 CN 115049702 A 3