(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210536412.1 (22)申请日 2022.05.12 (71)申请人 安徽理工大 学 地址 232001 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 夏晨星　李续兵　高修菊　孙延光　 王晶晶　 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于球体空间特征和多模态交叉融合网络 的3D目标检测算法 (57)摘要 本发明属于计算机视觉领域， 提供了基于球 体空间特征和多模态交叉融合网络的3D目标检 测算法， 包括以下步骤： 1)利用体素质心下采样 算法从原始点云数据中心选取关键点， 然后以关 键点为中心搜索邻近固定半径内的点； 2)利用稀 疏卷积对选取的每个球体中的点进行特征提取， 得到空间组， 再运用卷积操作得到空间特征； 3) 利用三层U Net网络对RGB图像进行多尺度特征提 取， 得到语义组， 通过MLP将其扩展到与空间特征 相同的维度， 得到语义特征； 4)使用交叉注意力 机制融合空间特征与语义特征， 融合后的特征再 输入到检测头进行检测， 并利用混合损失函数训 练此模型。 大量的在多个公开的数据集上的实验 数据表明了， 此发明具有高效性和优 越性。 权利要求书3页 说明书6页 附图1页 CN 114898356 A 2022.08.12 CN 114898356 A 1.基于球体空间特征和多模态交叉融合网络的3D 目标检测算法， 其特征在于， 该方法 包括以下步骤： 1)利用体素质心下采样算法从原始点云数据中心选取关键点， 然后以关键点为中心搜 索邻近固定半径内的点； 2)利用稀疏卷积对选取的每个球体中的点进行特征提取， 得到空间组， 再运用卷积操 作得到空间特 征； 3)利用三层Unet网络对RGB图像进行多尺度特征提取， 得到语义组， 通过MLP将其扩展 到与空间特 征相同的维度， 得到语义特 征； 4)使用交叉注意力 机制融合空间特征与语义特征， 融合后的特征再输入到检测头进行 检测， 并利用混合损失函数训练此模型。 2.根据权利要求1所述的基于球体空间特征和多模态交叉融合网络的3D目标检测算 法， 其特征在于： 所述 步骤1)具体方法是： 2.1)收集图像和点云3D目标检测领域相关数据集， 包括KITTI数据集， ScanNet  V2数据 集， Waymo数据集， SUN  RGB‑D数据集和Lyft  L5数据集。 2.2)此发明， 利用具有80256个目标标记的KITTI数据集训练数据集用于训练模型； 利 用KITTI数据集中的测试 数据集， 用于检测模型泛化 性能。 2.3)首先， 利用体素质心下采样算法从原 始点云中选取关键点， 如下式所示： 其中m为每 个体素中点的数量， (xi， yi， zi)为点的坐标。 2.4)随后， 我们利用KD ‑tree近邻搜索算法， 以关键点为中心固定搜索半径， 得到若干 球形空间体素Vspatial， 包含若干个点Pv， i， 如下式所示： Vspatial＝KD(Kcentroid， R)， (2) 其中R表示搜索半径。 3.根据权利要求1所述的基于球体空间特征和多模态交叉融合网络的3D目标检测算 法， 其特征在于： 所述 步骤2)具体方法是： 3.1)首先， 利用稀疏卷积(SPConv)对得到的每个球形体素空间内的所有点进行特征的 提取， 得到空间组。 其中稀疏卷积可以表 示为SC(m， n， f， s)， m表示为输入 特征通道数， n表示 为输出特征通道数， f表示 为过滤器的尺寸， s表示 步长并且 存在如下关系式： 3.2)随后， 利用卷积 操作得到空间特 征， 表示为： Sf＝Conv(SC(Pv， i))， (4) 其中Pv， i表示每个球形空间体素中的点。 4.根据权利要求1所述的基于球体空间特征和多模态交叉融合网络的3D目标检测算 法， 其特征在于： 所述 步骤3)具体方法是：权　利　要　求　书 1/3 页 2 CN 114898356 A 24.1)首先， 利用3层UNet网络对RGB图像进行多尺度特征提取,对于左侧下采样模块， 每 一层由两个3 ×3的卷积层并应用ReLU激活函数和一个2 ×2的最大池化层组成； 对于右侧上 采样模块， 每一层由一个上采样的卷积层、 一个Concat特征拼接和 两个×的卷积层并应用 ReLU激活函数组成。 其中采用双线性插值进行跳层连接， 如下式所示： 其中f(0， 0)， f(0， 1)， f(1， 0)， f(1， 1)表示四个已知点的坐标。 4.2)随后， 利用MLP对上述得到的语义组进行维度扩展以获得与空间特征相同维度的 特征， 如下式所示： Fs＝MLP(fs)， (6) 其中fs表示语义组特 征。 5.根据权利要求1所述的基于球体空间特征和多模态交叉融合网络的3D目标检测算 法， 其特征在于： 所述 步骤4)具体方法是： 5.1)首先， 将空间特征转换为查询Qs,将图像的语义特征转换为键Ki和值Vi， 如下式所 示： 其中S表示空间特征向量， I表示语义特征向量， WQ， WK， WV分别表示查询权重矩阵、 键权 重矩阵和值权 重矩阵。 5.2)然后采用注意力机制进行计算， 如下式所示： 其中KiT表示Ki的转置。 然后再将上述得到的注意力输入到1维卷积层和最大池化层得到最终融合的特征， 最 后将其输入到检测头进行分类和回归。 5.3)分类产生的损失采用Focal Loss交叉熵损失函数。 FL(pt)＝‑(1‑pt)γlog(pt)， (9) 其中1‑pt为可变平衡因子， γ为调节因子且大于零。 5.4)位置回归产生的损失采用CI oU Loss损失。 其中α 为权重函数， v用来度量宽高比的一致性， ρ 表示预测框和真实框中心点的距离， c 表示两个框的最小包围框的对角线长度。 5.5)边界框优化采用Smo oth L1损失函数。权　利　要　求　书 2/3 页 3 CN 114898356 A 3