(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210477589.9 (22)申请日 2022.04.26 (71)申请人 安徽理工大 学 地址 232000 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 夏晨星　李续兵　高修菊　孙延光　 陶展鹏　 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度图神经网络和点云缩减网络的 3D目标检测算法 (57)摘要 本发明属于计算机视觉领域， 提供了一种基 于多尺度图神经网络和点云缩减网络的3D目标 检测算法， 包括以下步骤： 1)利用PointNet++网 络中的特征编码与特征编码模块对点云数据进 行预处理， 除去特定的无关背景以减少计算输 入； 2)利用关键点采样算法在点云中选取关键 点， 并以关键点为顶点固定半径内的空间邻点构 建空间图； 3)利用卷积神经网络对每个图进行特 征提取， 并以每个特征为顶点构建平面图， 以某 一结点为起点， 固定搜索半径进行不同尺度的特 征融合； 4)使用MLP将特征转变成相同尺度， 并利 用混合损失函数训练此模型。 大量的在多个公开 的数据集上的实验数据表明了， 此 发明具有高效 性和优越性。 权利要求书2页 说明书5页 附图1页 CN 115100641 A 2022.09.23 CN 115100641 A 1.基于多尺度图神经网络和点云缩减网络的3D 目标检测算法， 其特征在于， 该方法包 括以下步骤： 1)输入点云数据， 利用PointNet++网络中的特征编码与特征编码模块对点云数据进行 预处理， 除去特定的无关背景以减少计算输入； 2)利用关键点采样算法在点云中选取关键点， 并以关键点为顶点固定半径内的空间邻 点构建空间图； 3)利用卷积神经网络对每个 图进行特征提取， 并以每个特征为顶点构建平面图， 并以 某一结点 为起点， 固定搜索半径进行不同尺度的特 征融合； 4)然后使用MLP将特 征转换成相同尺度， 并利用混合损失函数训练此模型。 2.根据权利要求1所述的基于多尺度图神经网络和点云缩减网络的3D 目标检测算法， 其特征在于： 所述 步骤1)具体方法是： 2.1)收集点云3D目标检测领域相关数据集， 包括KITTI数据集， ModelNet40数据集， Waymo数据集， NuScenes数据集和Lyft  L5数据集。 2.2)此发明， 利用具有80256个目标标记的KITTI数据集训练数据集用于训练模型； 利 用KITTI数据集中的测试 数据集， 用于检测模型泛化 性能。 2.3)将点云中地 面， 墙体设为特定无关背景 2.4)首先， 我们利用两组Set  Abstraction进行特征提取。 其中每一组提取层的输入是 (N， (d+C)),N是输入点的数量， d是坐标的维度C 是特征维度。 输出是(N ′， (d+C′)),其中N ′是 输出点的数量， d的维度不变， C ′是新的特 征维度。 2.5)随后， 我们利用Feature  Propagation通过上采样的方式将点 的特征对应到整个 点云数据， 并使用线性插值的方法与Set  Abstraction中的特征进行拼接。 相关公 式如下所 示： 这里， ωi代表权重， f代表输出特征。 最终得到缩 减后的点云集 合P＝{p1,p2,p3,…pn}。 3.根据权利要求1所述的基于多尺度图神经网络和点云缩减网络的3D 目标检测算法， 其特征在于： 所述 步骤2)具体方法是： 3.1)首先， 利用Sectorized  Proposal ‑Centric(SPC)关键点采样， 从提案的周围区域 均匀的采样， 采样后的关键点P ′由如下公式表示： 其中r(s)表示提案扩展半径的最大超参数， dxj， dyj， dzj表示提案的大小， C,D表示3D提 案的中心和尺寸。权　利　要　求　书 1/2 页 2 CN 115100641 A 23.2)随后， 利用KD ‑tree算法搜索每个关键点固定半径内的邻 居点， 并将其构建为图G， 如下式表示： G＝KD(P′， R),(3) 其中R表示指定的搜索半径。 4.根据权利要求1所述的基于多尺度图神经网络和点云缩减网络的3D 目标检测算法， 其特征在于： 所述 步骤3)具体方法是： 4.1)首先， 对每个空间图G进行特征提取， 并对提取到的特征进一步构建图G ′,如下式 所示： 其中n表示每 个空间图中点的数量。 4.2)随后， 对构建的图G ′利用最近邻搜索算法固定搜索半径进行不同尺度的特征融 合， 如下式所示： fi＝A(NNS(G′， R)),(5) 其中A函数表示特 征融合函数， fi表示不同尺度聚合后的特 征。 5.根据权利要求1所述的基于多尺度图神经网络和点云缩减网络的3D 目标检测算法， 其特征在于： 所述 步骤4)具体方法是： 5.1)利用MLP将不同尺度的特 征转变到同一维度， 并对其进行拼接， 如下式所示： f＝Concat(MLP(fi)),(6) 其中Concat表示特征拼接操作。 5.2)将得到的特征输入到检测头进行3D提案优化与置信度预测， 其中对于置信度预测 采用3D RoI与其对应的地 面真值之间的3D  IoU作为训练目标， 如下式所示： yk＝min(1， max(0， 2I oUk‑0.5)),(7) 其中IoUk是第k个Ro I与真实框之间的I oU。 然后使用交叉熵损失训练置信度， 如下式所示： 其中 是网络的预测值。 5.3)边界框优化采用Smo oth L1损失函数。 其中f(xi)表示预测值， yi表示真实值。权　利　要　求　书 2/2 页 3 CN 115100641 A 3