(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210545814.8 (22)申请日 2022.05.19 (71)申请人 上海仙途智能科技有限公司 地址 201107 上海市闵行区申长路1398弄 1-4号阿里中心3号楼8楼 (72)发明人 黄超　姚为龙　蔡创　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王铭 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/766(2022.01) G01S 17/89(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 障碍物检测方法及装置、 存 储介质、 终端 (57)摘要 一种障碍物检测方法及装置、 存储介质、 终 端， 方法包括： 获取当前时刻待处理的图像， 记为 当前图像， 当前图像是由拍摄装置采集到的， 当 前图像包括障碍物的影像； 对当前图像进行特征 提取， 以得到图像特征图， 并根据图像特征图确 定障碍物的边界框； 读取初始点云特征， 其中， 初 始点云特征是预先根据当前图像对应的点云数 据生成的， 点云数据是由雷达采集到的， 雷达和 拍摄装置设置于同一车辆上； 根据初始点云特征 和障碍物的边界框， 生成点云特征图； 根据融合 特征图确定当前时刻的检测结果， 其中， 融合特 征图是对图像特征图和点云特征图进行融合得 到的。 本发明提供的障碍物检测方法， 能够在保 证识别结果 准确性的情况 下提高检测效率。 权利要求书2页 说明书10页 附图2页 CN 115294538 A 2022.11.04 CN 115294538 A 1.一种障碍物检测方法， 其特 征在于， 所述方法包括： 获取当前时刻待处理 的图像， 记为当前图像， 所述当前图像是由拍摄装置采集到的， 所 述当前图像包括障碍物的影 像； 对所述当前图像进行特征提取， 以得到 图像特征图， 并根据所述图像特征图确定所述 障碍物的边界框； 读取初始点云特征， 其中， 所述初始点云特征是预先根据所述当前图像对应的点云数 据生成的， 所述 点云数据是由雷达采集到的， 所述雷达和所述拍摄装置设置 于同一车辆上； 根据所述初始点云特 征和所述障碍物的边界框， 生成点云特 征图； 根据融合特征图确定当前时刻的检测结果， 其中， 所述融合特征图是对所述图像特征 图和所述 点云特征图进行融合得到的。 2.根据权利要求1所述的障碍物检测方法， 其特征在于， 所述点云数据包括： 多个点的 位置信息， 所述初始点云特征包括： 每个点对应的柱体区域的位置信息， 其中， 所述柱体区 域是对所述 点进行支 柱拓展得到的。 3.根据权利要求2所述的障碍物检测方法， 其特征在于， 所述初始点云特征还包括： 每 个点的特 征信息， 根据所述初始点云特 征和所述障碍物的边界框， 生成点云特 征图包括： 将所述边界框映射至三维空间， 以得到所述 边界框对应的三维区域； 根据所述柱体区域的位置信息， 筛选出处于所述三维区域内的柱体区域， 以得到与所 述边界框关联的目标柱体区域； 将所述目标柱体区域映射至所述当前图像所在的二维平面， 以得到所述 点云特征图。 4.根据权利要求3所述的障碍物检测方法， 其特征在于， 将所述边界框映射至三维空 间， 以得到所述边界框对应的三 维区域之前， 所述方法还包括： 在所述多个点中确定最远点 和最近点， 所述最远点为距离所述二维平面最远的点， 所述最近点为距离所述二维平面最 近的点； 根据所述最远点与所述二维平面之间的距离以及所述最近点与所述二维平面之间的 距离， 确定所述 三维区域的高度。 5.根据权利要求1所述的障碍物检测方法， 其特征在于， 所述图像特征图包括多个尺度 不同的图像特 征子图， 对所述图像特 征图和所述 点云特征图进行融合包括： 对所述点云特征图进行尺度变换， 以得到多个点云特征子 图， 所述点云特征子 图与所 述图像特 征子图一 一对应； 在通道方向上将具有对应关系的点云特征子图和图像特征子图进行融合， 以得到多尺 度的融合特 征图。 6.根据权利要求1所述的障碍物检测方法， 其特征在于， 所述图像特征图是由特征提取 模块对所述当前图像进行特征提取得到的， 所述边界框是由第一预测模块对所述图像特征 图进行计算得到的， 所述检测结果是 由第二预测模块对所述融合特征图进行计算得到的， 获取当前时刻待处 理的图像之前， 所述方法还 包括： 获取样本图像， 采用样本图像对预设模型进行训练， 以得到障碍物检测模型， 所述检测 模型包括所述特 征提取模块、 第一预测模块和第二预测模块； 其中， 所述采用样本图像对预设模型进行训练之前， 所述方法还 包括： 获取所述样本图像对应的样本点云数据；权　利　要　求　书 1/2 页 2 CN 115294538 A 2根据所述样本点云数据和所述样本图像中的边界框， 生成样本点云特征图， 其中， 所述 样本图像中的边界框是 预先标注的。 7.一种障碍物检测装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取当前时刻待处理 的图像， 记为当前图像， 所述当前图像是由拍 摄装置采集到的， 所述当前图像包括障碍物的影 像； 第一计算模块， 用于对所述当前图像进行特征提取， 以得到图像特征图， 并根据 所述图 像特征图确定所述障碍物的边界框； 特征读取模块， 用于读取初始点云特征， 其中， 所述初始点云特征是预先根据所述当前 图像对应的点云数据生成的， 所述点云数据是 由雷达采集到的， 所述雷达和所述拍摄装置 设置于同一车辆上； 第二计算模块， 用于根据所述初始点云特 征和所述障碍物的边界框， 生成点云特 征图； 第三计算模块， 用于根据融合特征图确定当前时刻的检测结果， 其中， 所述融合特征图 是对所述图像特 征图和所述 点云特征图进行融合得到的。 8.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器运行 时， 执行权利要求1至 6中任一项所述的障碍物检测方法的步骤。 9.一种终端， 包括存储器和 处理器， 所述存储器上存储有可在所述处理器上运行的计 算机程序， 其特征在于， 所述处理器运行所述计算机程序时执行权利要求1至6中任一项所 述的障碍物检测方法的步骤。 10.一种车辆， 其特征在于， 所述车辆配置有拍摄装置和雷达， 所述车辆包括： 终端， 所 述终端用于执 行权利要求1至 6任一项所述的障碍物检测方法。权　利　要　求　书 2/2 页 3 CN 115294538 A 3