(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210107083.9 (22)申请日 2022.01.28 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 付彦伟　薛向阳　王丽　钱学林　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 陈源源 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于3D建模中隐式表示的3D目标检测 方法和系统 (57)摘要 本发明涉及一种基于3D建模中隐式表示的 3D目标检测方法和系统， 方法包括采集点 云数据 并进行预处理， 得到预处理点云数据； 根据得到 的预处理点 云数据， 在点云维度和体素维度上分 别提取出对应的特征， 并将这两种特征结合并转 换为鸟瞰图特征； 对鸟瞰特征图上的每个像素点 进行坐标和特征偏移， 筛选并采样出最大概率的 候选中心点； 使用隐式函数对以候选中心点为单 位的周围局部三维空间内包含的所有点赋值， 并 根据赋予的结果生成目标边界框； 通过将生成的 目标边界框内的特征进行结合对边界框进行优 化。 与现有 技术相比， 本发明具有速度快、 精确度 高、 鲁棒性好等优点， 适用于三维场景下的目标 检测和分割等应用。 权利要求书3页 说明书8页 附图3页 CN 114463737 A 2022.05.10 CN 114463737 A 1.一种基于 3D建模中隐式表示的3D目标检测方法， 其特 征在于， 包括以下步骤： 采集从LiDAR收集到的点云数据并进行 预处理， 得到预处 理点云数据； 根据得到的预处理点云数据， 在点云维度和体素维度上分别提取出对应的特征， 并将 这两种特 征结合并转换为鸟瞰图特 征； 对鸟瞰特征图上的每个像素点进行坐标和特征偏移， 筛选并采样出最大概率的候选中 心点； 使用隐式函数对以候选 中心点为单位的周围局部三维空间内包含的所有点赋值， 并根 据赋予的结果 生成目标边界框； 通过将生成的目标边界框内的特 征进行结合对边界框进行优化。 2.根据权利要求1所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 预处理点云数据具体包括以下步骤： 根据检测范围仅保留符合x、 y和z轴方向上 范围内的点云数据形成点云集 合； 将点云集合按照 三维空间的体素大小分割成立体网格体素， 每个体素中包含的点个数 超过设定数量时， 对其进行随机采样， 使每 个体素网格中包 含的点个数不超过设定数量。 3.根据权利要求1所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 预处理点云数据在点云维度和体素维度上分别提取对应的特 征具体包括以下步骤： 将预处理点云数据经 过一个多层感知机得到点特 征向量； 将得到的点特 征向量送入多个 体素特征提取层， 为每 个网格体素获取初始特 征； 将得到的点特 征向量和得到的初始特 征融合后送入一个MLP层， 得到点云维度的特 征； 将得到的初始特征送入多个3D稀疏卷积块中， 得到体素维度的特征； 将体素维度的特 征沿着z轴压缩并送入多尺度2D卷积层中， 从而得到2D的鸟瞰图特 征。 4.根据权利要求1所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 在鸟瞰特 征图上筛 选并采样出最大概 率的候选中心点的具体包括以下步骤： 将鸟瞰特征图上的每个像素点朝其真实中心点的位置调整， 即将鸟瞰特征f(bev)送入一 个MLP层来为鸟瞰特征上的每个像素点生成 中心偏移以及特征偏移， 通过添加偏移 量， 候选 中心的表示式为 p(ctr)＝p(ofs)+p(bev) f(ctr)＝f(ofs)+f(bev) 其中， p(bev)和f(bev)分别表示鸟瞰特征图上每个像素点的坐标和特征， p(ctr)和f(ctr)分别 表示候选中心点的坐标和特 征， p(ofs)表示中心偏移， f(ofs)表示特征偏移； 对偏移后得到的候选中心进行质量筛选和采样， 使用3D中心距离作为衡量质量的标 准。 5.根据权利要求1所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 生成目标边界框具体包括以下步骤： 对候选中心点使用采样策略获取其周围局部三维空间中的点云坐标和特征， 其中采样 点包括原 始点和虚拟点； 使用隐式函数对局部三维空间中采样的每个点赋值， 赋值表示为 具体地， 隐式函 数产生以候选中心为条件的内核， 该内核与采样点进行卷积， 以动态地调整采样点的赋值权　利　要　求　书 1/3 页 2 CN 114463737 A 2结果； 同理计算得到每个采样的原始点的赋值 结果 将基于候选中心点的两类采样点的 赋值结果统称为 根据设定阈值和赋值结果筛选局部三维空间内的采样点， 根据筛选后的点生成目标边 界。 6.根据权利要求5所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 使用采样策略获取其周围局部三维空间中的点云坐标和特 征具体包括以下步骤： 步骤一， 给定 一个候选中心点 通过绘制一个半径为r的球来获取其周围的局部空 间， 并从空间中随机 选择m个原 始点作为采样点； 步骤二， 对于每 个采样的原 始点 收集其对应的基于点的特 征f(point)并标记为 步骤三， 将一系列虚拟点 均匀地放置在候选中心点 周围； 步骤四， 在虚拟点 中同样随机采样m个虚拟点； 步骤五， 对于采样得到的虚拟点， 采用K邻近算法从体素特征 中插值得到虚拟点特 征； 步骤六， 将插值得到的虚拟点特征送入一个MLP层进行编码， 将虚拟点坐标和特征分别 标记为 和 7.根据权利要求5所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 根据设定阈值和赋值结果筛选局部三 维空间内的采样点， 然后根据筛选后的点生成目标边 界具体包括以下步骤： 步骤一， 的值高于设定阈值则视为目标区域内部的点， 否则为目标区域外 部的点； 步骤二， 生成边界框的大小： 利用最小外接矩形来生成一个拟合所有内部点的轴平行 边界框； 步骤三， 生成边界框的方向： 将方向空间从[0,2π]缩小至 然后将其分多个不同的 角度， 计算目标边框点内的采样点到面的距离， 选择距离和最小的一个边界框， 对应的角度 则作为边界框的角度ra； 同时通过比较边界框的长la和宽wa， 经验性地将方向范围矫正到 [0, π ]， 其表达式为： 其中， ra表示边界框的角度， la表示边界框的长， wa表示边界框的宽 。 8.根据权利要求1所述的一种基于3D建模中隐式表示的3D目标检测方法， 其特征在于， 对生成的目标边界框进行优化的过程包括如下步骤： 重用隐含值， 通过聚合内部采样点的特征并抑制外部点的特征影响来细化调整边界 框， 具体为在每个边界框内均匀地采样多个网格点， 然后采用点集抽象层来聚合在每个网 格点位置的内部点特 征以及体素 特征； 拼接所有网格点的特征并将它们输入到检测头中； 检测头由三个并行分支构建， 分别权　利　要　求　书 2/3 页 3 CN 114463737 A 3