(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210210659.4 (22)申请日 2022.03.04 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 邹智康　叶晓青　孙昊　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 高艳红 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/766(2022.01) G06V 20/10(2022.01)G06V 20/56(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 物体检测方法、 装置、 设备及 介质 (57)摘要 本公开提供了一种物体检测方法、 装置、 设 备及介质， 涉及人工智 能领域， 具体涉及深度学 习领域， 可用于智 能机器人和自动驾驶场景。 具 体实现方案为： 从场景图像数据中抽取场景的 图 像描述特征， 并从场景点云数据中抽取场景的点 云描述特征； 根据所述图像描述特征确定动态卷 积核， 并采用所述动态卷积核对 所述点云描述特 征进行处理， 得到场景的融合特征； 根据所述场 景的融合特征确定场景中的物体检测结果。 本公 开能够提高物体 检测的准确度。 权利要求书2页 说明书9页 附图4页 CN 114581746 A 2022.06.03 CN 114581746 A 1.一种物体 检测方法， 包括： 从场景图像数据中抽取场景的图像描述特征， 并从场景点云数据中抽取场景的点云描 述特征； 根据所述图像描述特征确定动态卷积核， 并采用所述动态卷积核对所述点云描述特征 进行处理， 得到场景的融合特 征； 根据所述场景的融合特 征确定场景中的物体 检测结果。 2.根据权利要求1所述的方法， 其中， 所述根据所述图像描述特征确定动态卷积核， 并 采用所述动态卷积核对所述 点云描述特 征进行处 理， 得到场景的融合特 征， 包括： 通过第I个图像卷积单元， 对第I ‑1个图像输出特征进行处理， 得到第I个图像输出特 征； 根据第I个图像输出 特征， 确定第I个动态卷积核； 通过第I个点云卷积单元， 采用所述第I个动态卷积核对第I ‑1个融合特征进行处理， 得 到第I个融合特 征； 其中， 首个图像输出特征为所述图像描述特征； 通过对所述点云描述特征进行鸟瞰图 处理得到首个融合特 征； 所述I为正整数。 3.根据权利要求2所述的方法， 其中， 所述根据第I个图像输出特征， 确定第I个动态卷 积核， 包括： 通过第I个全连接单 元， 对第I个图像输出 特征进行处 理， 得到第I个动态卷积核； 其中， 第I个全连接单元的输入数据量根据第I个 图像输出特征中的图像通道数、 图像 高度和图像宽度确定， 第I个全连接单元的输出数据量根据第I个融合特征中的融合通道数 和第I个动态卷积核的尺寸确定 。 4.根据权利要求1 ‑3中任一项所述的方法， 还 包括： 对所述场景图像数据进行 前景识别， 得到所述场景图像中的前 景区域和背景区域； 所述从场景图像数据中抽取场景的图像描述特 征， 包括： 从所述场景图像数据中抽取场景的基础描述特 征； 采用权重矩阵对所述基础描述特 征进行修 正， 得到所述图像描述特 征； 其中， 权重矩阵中与所述前景区域关联的前景权重值， 大于与所述背景区域关联的背 景权重值。 5.根据权利要求1 ‑3中任一项所述的方法， 其中， 所述物体检测结果包括物体的位置信 息、 尺寸信息或朝向信息中的至少一项。 6.一种物体 检测装置， 包括： 描述特征抽取模块， 用于从场景图像数据中抽取场景的图像描述特征， 并从场景点云 数据中抽取场景的点云描述特 征； 动态卷积核确定模块， 用于根据所述图像描述特征确定动态卷积核， 并采用所述动态 卷积核对所述 点云描述特 征进行处 理， 得到场景的融合特 征； 物体检测结果确定模块， 用于根据所述场景的融合特 征确定场景中的物体 检测结果。 7.根据权利要求6所述的装置， 其中， 所述动态卷积核确定模块， 包括： 图像输出特征确定子模块， 用于通过第I个图像卷积单元， 对第I ‑1个图像输出特征进 行处理， 得到第I个图像输出 特征；权　利　要　求　书 1/2 页 2 CN 114581746 A 2动态卷积核确定 子模块， 用于根据第I个图像输出 特征， 确定第I个动态卷积核； 融合特征确定模块， 用于通过第I个点云卷积单元， 采用所述第I个动态卷积核对第I ‑1 个融合特 征进行处 理， 得到第I个融合特 征； 其中， 首个图像输出特征为所述图像描述特征； 通过对所述点云描述特征进行鸟瞰图 处理得到首个融合特 征； 所述I为正整数。 8.根据权利要求7 所述的装置， 其中， 所述动态卷积核确定 子模块， 包括： 动态卷积核确定单元， 用于通过第I个全连接单元， 对第I个图像输出特征进行处理， 得 到第I个动态卷积核； 其中， 第I个全连接单元的输入数据量根据第I个 图像输出特征中的图像通道数、 图像 高度和图像宽度确定， 第I个全连接单元的输出数据量根据第I个融合特征中的融合通道数 和第I个动态卷积核的尺寸确定 。 9.根据权利要求6 ‑8中任一项所述的装置， 还 包括： 前景识别模块， 用于对所述场景图像数据进行前景识别， 得到所述场景图像中的前景 区域和背景区域； 所述描述特 征抽取模块， 包括： 基础描述特 征描述子模块， 用于从所述场景图像数据中抽取场景的基础描述特 征； 基础描述特征修正子模块， 用于采用权重矩阵对所述基础描述特征进行修正， 得到所 述图像描述特 征； 其中， 权重矩阵中与所述前景区域关联的前景权重值， 大于与所述背景区域关联的背 景权重值。 10.根据权利要求6 ‑8中任一项所述的装置， 其中， 所述物体检测结果包括物体的位置 信息、 尺寸信息或朝向信息中的至少一项。 11.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的物体 检测方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使计算机执 行根据权利要求1 ‑5中任一项所述的物体 检测方法。 13.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑5中任一项所述的物体 检测方法。权　利　要　求　书 2/2 页 3 CN 114581746 A 3