(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210170630.8 (22)申请日 2022.02.23 (71)申请人 广东汇天航空航天科技有限公司 地址 511400 广东省广州市小谷围街大 学 城外环西路318号 (72)发明人 赵德力　郭均浩　谷靖　张新　 (74)专利代理 机构 北京汇鑫君达知识产权代理 有限公司 1 1769 专利代理师 黄启法 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) (54)发明名称 基于双目相机的障碍物探测处理方法、 装 置、 设备及系统 (57)摘要 本申请涉及一种基于双目相机的障碍物探 测处理方法、 装置及系统。 该方法包括： 获取雷达 探测的点云数据和双目相机探测的图像数据； 分 别对所述点云数据和所述图像数据进行聚类处 理， 获得与障碍物对应的待补全障碍物点云信息 和待调整图像信息； 根据所述待补全障碍物点云 信息与所述待调整图像信息的对应 关系， 对所述 待调整图像信息进行优化， 获得优化图像信息； 根据所述优化图像信息和所述待补全障碍物点 云信息， 获得完整障碍物点云信息； 根据所述完 整障碍物 点云信息确定障碍物轮廓。 本申请提供 的方案， 能够更准确探测出大型障碍物的轮廓， 提高路径规划的有效性。 权利要求书2页 说明书10页 附图5页 CN 114529884 A 2022.05.24 CN 114529884 A 1.一种基于双目相机的障碍物探测处 理方法， 其特 征在于， 包括： 获取雷达探测的点云数据和双目相机 探测的图像数据； 分别对所述点云数据和所述图像数据进行聚类处理， 获得与障碍物对应的待补全障碍 物点云信息和待调整图像信息； 根据所述待补全障碍物点云信 息与所述待调整图像信 息的对应关系， 对所述待调 整图 像信息进行优化， 获得优化图像信息； 根据所述优化图像信息和所述待补全障碍物点云信息， 获得完整障碍物点云信息； 根据所述完整障碍物点云信息确定障碍物轮廓。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述待补全障碍物点云信 息与所 述待调整图像信息的对应关系， 对所述待调整图像信息进行优化， 获得优化图像信息， 包 括： 根据所述待补全障碍物点云信 息与所述待调整图像信 息的对应关系， 将所述待补全障 碍物点云信息与所述待调整图像信息进行匹配， 获得点云匹配信息； 根据所述 点云匹配信息调整所述待调整图像信息中的匹配部分， 得到第一图像信息； 参考所述第一图像信息调整所述待调整图像信息中的未匹配部分， 得到第二图像信 息； 根据所述第一图像信息和所述第二图像信息获得优化后的优化图像信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述点云匹配信 息调整所述待调 整图像信息中的匹配部分， 得到第一图像信息， 包括： 根据所述 点云匹配信息， 确定所述待调整图像信息与实际图像信息的偏离值； 根据所述偏离值调整所述待调整图像信息中的匹配部分， 得到第一图像信息 。 4.根据权利要求2所述的方法， 其特 征在于： 所述待补全障碍物点云信息与所述待调整图像信息的对应关系根据所述雷达与所述 双目相机的外参 转换关系得到 。 5.根据权利要求 4所述的方法， 其特 征在于： 所述雷达与所述双目相机的外参转换关系根据所述雷达与所述双目相机的联合标定 得到。 6.一种基于双目相机的障碍物探测处 理装置， 其特 征在于， 包括： 数据获取模块， 用于获取 雷达探测的点云数据和双目相机 探测的图像数据； 聚类处理模块， 用于分别对所述点云数据和所述图像数据进行聚类处理， 获得与障碍 物对应的待补全障碍物点云信息和待调整图像信息； 数据优化模块， 用于根据所述待补全障碍物点云信 息与所述待调整图像信 息的对应关 系， 对所述待调整图像信息进行优化， 获得优化图像信息； 点云信息模块， 根据所述优化图像信息和所述待补全 障碍物点云信息， 获得完整 障碍 物点云信息； 轮廓确定模块， 用于根据所述完整障碍物点云信息确定障碍物轮廓。 7.根据权利要求6所述的装置， 其特 征在于， 所述数据优化模块包括： 匹配子模块， 用于根据所述待补全障碍物点云信息与所述待调整图像信息的对应关 系， 将所述待补全障碍物点云信息与所述待调整图像信息进行匹配， 获得点云匹配信息；权　利　要　求　书 1/2 页 2 CN 114529884 A 2第一优化子模块， 用于根据所述点云匹配信息调整所述待调整图像信息中的匹配部 分， 得到第一图像信息； 第二优化子模块， 用于参考所述第 一图像信 息调整所述待调 整图像信 息中的未匹配部 分， 得到第二图像信息； 优化融合子模块， 用于根据 所述第一图像信 息和所述第 二图像信 息获得优化后的优化 图像信息 。 8.一种基于双目相机的障碍物探测处 理系统， 其特 征在于， 包括： 雷达， 用于向障碍物探测处 理装置发送探测的点云数据； 双目相机， 用于向障碍物探测处 理装置发送探测的图像数据； 障碍物探测 处理装置， 用于获取雷达探测的点云数据和双目相机探测的图像数据； 分 别对所述点云数据和所述图像数据进 行聚类处理， 获得与障碍物对应的待补全障碍物点云 信息和待调整图像信息； 根据所述待补 全障碍物 点云信息与所述待调整图像信息的对应关 系， 对所述待调整图像信息进 行优化， 获得优化图像信息； 根据所述优化图像信息和所述待 补全障碍物点云信息， 获得完整障碍物点云信息； 根据所述完整障碍物点云信息确定障碍 物轮廓。 9.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 其上存储有可执行代码， 当所述可执行代码被所述处理器执行时， 使所述处理 器执行如权利要求1 ‑5中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有可执行代码， 当所述可执行代码被电子设备 的处理器执行时， 使所述处 理器执行如权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114529884 A 3