(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210577183.8 (22)申请日 2022.05.25 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 李昊　张泽瀚　赵显　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 17/04(2020.01) G01S 17/86(2020.01) (54)发明名称 一种目标检测方法、 装置、 设备及存 储介质 (57)摘要 本申请提供一种目标检测方法、 装置、 设备 及存储介质， 涉及计算机视觉技术领域， 可以准 确有效地进行目标检测的工作。 该方法包括： 获 取雷达信号对应的点云中每个点的雷达特征和 图像特征； 将点云划分为N个子点云； N大于或等 于1； 根据子点云中每个点的雷达特征和图像特 征， 分别确定每个子点云的注意力系数； 注意力 系数用于指示子点云中的点之间的雷达信息的 相互注意力， 以及图像信息的相互注意力； 分别 确定每个子点云的融合特征； 一个子点云的融合 特征由该子点云的注意力系数对该子点云的雷 达特征和图像特征加权得到； 将N个子点云的融 合特征投影至鸟瞰图， 进行目标检测。 本申请可 用于3维目标检测的过程中。 权利要求书3页 说明书12页 附图5页 CN 114998610 A 2022.09.02 CN 114998610 A 1.一种目标检测方法， 其特 征在于， 所述方法包括： 获取雷达信号对应的点云中每个点的雷达特征和图像特征； 所述点云中一个点的图像 特征为该点在二维图像中对应的点的图像特 征； 将所述点云划分为 N个子点云； N大于或等于1； 根据子点云中每个点的雷达特征和图像特征， 分别确定每个子点云的注意力系数； 所 述注意力系数用于指示子点云中的点之 间的雷达信息的相互注意力， 以及图像信息的相互 注意力； 分别确定每个所述子点云的融合特征； 一个子点云的融合特征由该子点云的注意力系 数对该子点云的雷达特 征和图像特 征加权得到； 将所述N个子点云的融合特 征投影至鸟瞰图， 进行目标检测。 2.根据权利要求1所述的方法， 其特征在于， 针对第一子点云， 确定所述第一子点云的 注意力系数， 包括： 采用多层感知机对所述第 一子点云中每个点的雷达特征和图像特征进行映射， 得到所 述第一子点云的雷达信息的向量和图像信息的向量； 根据所述雷达信息的向量和所述图像信息的向量， 分别确定第一系数和第二系数， 作 为所述第一子点云的注意力系数； 所述第一系数为所述第一子点云中每个点之 间所述雷达 信息的相互注意力矩阵； 所述第二系数为所述第一子点云中每个点之 间图像信息的相互注 意力矩阵。 3.根据权利要求2所述的方法， 其特 征在于， 所述根据所述雷达信息的向量和所述图像信息的向量， 分别确定第一系数和第二系 数， 包括： 将所述雷达信息的向量中的查询键值， 与所述雷达信息的向量中的字典键值相乘， 作 为所述第一系数； 将所述图像信息的向量中的查询键值， 与所述图像信息的向量中的字典键值相乘， 作 为所述第二系数。 4.根据权利要求3所述的方法， 其特征在于， 所述第 一子点云的雷达特征为所述第 一子 点云的雷达信息的向量中的特征值， 所述第一子点云的图像特征为所述第一子点云的图像 信息的向量中的特 征值； 确定所述第一子点云的融合特 征， 包括： 采用所述第一系数和所述第二系数， 对所述雷达信息的向量中的特征值进行加权， 得 到所述第一子点云的雷达融合特 征； 采用所述第一系数和所述第二系数， 对所述图像信息的向量中的特征值进行加权， 得 到所述第一子点云的图像融合特 征； 连接所述第 一子点云的雷达融合特征和所述第 一子点云的图像融合特征， 得到所述第 一子点云的融合特 征。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述将所述点云划分为N个子点 云， 包括： 采用最远点采样算法和k近邻算法将所述 点云划分为 N个所述子点云。 6.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述将所述N个子点云的融合特权　利　要　求　书 1/3 页 2 CN 114998610 A 2征投影至鸟瞰图， 进行目标检测， 包括： 采用深度学习网络对所述鸟瞰图的特 征进行提取， 生成3维检测框； 采用深度学习网络预测所述3维检测框的类别和尺度。 7.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述获取雷达信号对应的点云中 每个点的雷达特 征和图像特 征， 包括： 对所述雷达信号进行 特征提取， 获取 所述点云中每 个点的雷达特 征； 对图像信号进行 特征提取， 得到所述图像信号的特 征； 将所述图像信号的特征通过内参矩阵和外参矩阵处理， 获取所述点云中每个点的图像 特征。 8.根据权利要求7所述的方法， 其特征在于， 所述雷达信号为距离视 图信号， 所述方法 还包括： 获取 所述距离 视图信号的特 征； 所述获取 雷达信号对应的点云中每 个点的雷达特 征， 包括： 将所述距离视图信号的特征与点云对应， 获取所述雷达信号对应的点云中每个点的雷 达特征。 9.一种目标检测装置， 其特征在于， 所述装置包括： 获取模块， 划分模块， 确定模块和检 测模块； 所述获取模块用于， 获取雷达信号对应的点云中每个点的雷达特征和图像特征； 所述 点云中一个点的图像特 征为该点在二维图像中对应的点的图像特 征； 所述划分模块用于， 将所述 点云划分为 N个子点云； N大于或等于1； 所述确定模块用于， 根据子点云中每个点的雷达特征和图像特征， 分别确定每个所述 子点云的融合特 征； 所述融合特 征用于反映所述子点云的雷达信息和图像信息； 所述检测模块用于， 将所述 N个子点云的融合特 征投影至鸟瞰图， 进行目标检测。 10.根据权利要求9所述的装置， 其特 征在于， 所述确定模块具体用于， 根据子点云中每个点的雷达特征和图像特征， 分别确定每个子点云的注意力系数； 所 述注意力系数用于指示子点云中的点之 间的雷达信息的相互注意力， 以及图像信息的相互 注意力； 分别确定每个子点云的融合特征； 一个子点云的融合特征由该子点云的注意力系数对 该子点云的雷达特 征和图像特 征加权得到 。 11.根据权利要求10所述的装置， 其特 征在于， 针对第一子点云， 所述确定模块具体用于， 采用多层感知机对所述第 一子点云中每个点的雷达特征和图 像特征进行映射， 得到所述第一子点云的雷达信息的向量和图像信息的向量； 根据所述雷 达信息的向量和所述图像信息的向量， 分别确定第一系 数和第二系 数， 作为所述第一子点 云的注意力系数； 所述第一系数为所述第一子点云中每个点之 间所述雷达信息的相互注意 力矩阵； 所述第二系数为所述第一子点云中每 个点之间图像信息的相互注意力矩阵； 所述确定模块具体用于， 将所述雷达信息的向量中的查询键值， 与所述雷达信息的向 量中的字典键值相乘， 作为所述第一系数； 将所述图像信息的向量中的查询键值， 与所述图 像信息的向量中的字典键值相乘， 作为所述第二系数； 所述第一子点云的雷达特征为所述第 一子点云的雷达信 息的向量中的特征值， 所述第 一子点云的图像特征为所述第一子点云的图像信息的向量中的特征值； 所述确定模块具体权　利　要　求　书 2/3 页 3 CN 114998610 A 3