(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544771.1 (22)申请日 2022.05.19 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 张辉　车爱博　刘立柱　曹意宏　 缪志强　钟杭　毛建旭　王耀南　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 张洁 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于点云数据的三维目标检测方法 (57)摘要 本发明公开了一种基于点云数据的三维目 标检测方法， 其主要由稀 疏卷积模块提取三维点 云的稀疏特征， 再由空间语义特征提取模块分别 提取检测对象的空间特征和语义特征， 通过基于 注意力机制的多尺度特征融合模块对空间特征 和语义特征进行融合进而输出融合后的特征进 行特征预测， 最后通过多任务检测头预测模块输 出最终的检测框。 本方法提出的基于注意力机制 的双特征融合模块对于解决遮挡程度高检测难 度大的目标具有明显的检测精度方面的提升， 大 大提高了目标检测的准确性。 权利要求书3页 说明书9页 附图3页 CN 115393601 A 2022.11.25 CN 115393601 A 1.一种基于点云数据的三维目标检测方法， 其特 征在于， 所述方法包括以下步骤： 步骤S100： 获取数据集， 对所述数据集进行预处理， 将预处理后的数据集按照预设划分 比例划分为训练集和 测试集； 步骤S200： 构建三维检测网络模型， 所述三维检测网络模型包括依次连接的稀疏卷积 模块、 空间语义特征提取模块、 基于注意力机制的多尺度特征融合模块和多任务检测头预 测模块； 步骤S300： 将所述训练集输入至所述三维检测网络模型， 所述稀疏卷积模块用于提取 所述训练集的图片中的三 维点云的稀疏特征， 所述空间语义特征提取模块用于从所述稀疏 特征中提取空间特征和语义特征， 所述基于注意力机制的多尺度特征融合模块进 行所述空 间特征和所述语义特征融合并将融合后的特征输入所述多任务检测头预测模块进行目标 预测得到目标预测结果， 根据所述训练集的图片、 所述 目标预测结果和预测的损失函数对 所述三维检测网络模型进 行反向传播更新所述模型的网络参数， 得到训练好的三 维检测网 络模型； 步骤S400： 将所述测试集中的图片输入至所述训练好的三维检测网络模型， 得到三维 目标检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述稀疏卷积模块包括4部分， 每一部分包 括若干个子流形稀疏卷积(SSC)层和一个稀疏卷积(SC)层， 这四部分分别具有2层、 2层、 3 层、 3层SSC卷积层， 在每一部分子流形稀疏卷积(SSC)层的末尾附加一个稀疏卷积(SC)层， 最后将稀疏的体素特征转化为密集的特征映射， 并将z轴中的特征连接， 生成BEV特征映射 作为下一模块的输入， 步骤S 300中所述稀疏卷积模块用于提取所述训练集的图片中的三 维 点云的稀疏 特征， 包括： 步骤S310： 定义稀疏卷积符号为SC(m,n,f,s)： 稀疏卷积在处理d维数据时候的感受野 是fd， 输入一个A1×A2×…×Am×m的张量Tin， 经过稀疏卷积后， 输出一个B1×B2×…×Bd×n 的张量Tout， Ai和Bi满足一个约束条件： Bi＝(Ai‑f+s)/s,i ＝1,2,…,d； 步骤S320： 为维护正常卷积操作， 进行空值补零： 若计算Tin中的一个元素tin＝Tin(a1, a2,…,ad,m0)的稀疏卷积值， 提取tin为中心在fd空间内的所有值和fd大小的核做点乘， 利用 稀疏卷积将稀疏的张量Tin中把目标位置tin所在的fd空间内所有的空洞位置补充为零， 补零 后再按照普通卷积计算； 步骤S330： 通过子流形卷积操作进行强制清零以维护特征稀疏性， 提取得到稀疏特征： 为了使输出的尺寸和输入的尺寸一致， 在输入张量Tin上做零值补充， 在d维中的每 一维前和 后补充(f ‑1)/2个零， 其中， f是奇数， (f ‑1)/2为整数， 则Bi＝Ai+2×(f‑1)/2‑f+1＝Ai， 稀疏 卷积输出的张量尺寸和输入张量是一样的， 记Tin中零值区域为Dzero， 在Tout中把Dzero区域的 值重写为 零， 最后提取 得到稀疏 特征。 3.根据权利要求2所述的方法， 其特征在于， 步骤S300中所述空间语义特征提取模块用 于从所述稀疏 特征中提取空间特 征和语义特 征， 包括： 步骤S340： 所述空间语义特征提取模块包含两组卷积层， 分别为空间卷积组和语义卷 积组， 所述空间卷积组用于从所述稀疏特征中提取 空间特征并保持所述空间特征的尺寸与 输入相同， 所述语义卷积组用于通过将所述空间特征作为输入， 使层数增加一倍， 空间大小 减半， 以获得 更高层次的抽象语义信息；权　利　要　求　书 1/3 页 2 CN 115393601 A 2步骤S350： 采用第一二维反卷积层恢复所述语义特征的维度， 使所述语义特征的维度 与所述空间特征相同， 按元素顺序添加所述空间特征， 采用第二二维反卷积层产生上采样 的语义特 征， 将所述上采样的语义特 征作为最终提取到的语义特 征。 4.根据权利要求3所述的方法， 其特征在于， 步骤S340中的所述空间卷积组和所述语义 卷积组包括三个堆叠的卷积层， 所述空间卷积组的三个堆叠的卷积层的卷积核大小为3 × 3， 层数为 128， 所述语义卷积组的三个堆叠的卷积层的卷积核 大小为3×3， 层数为256， 在所 述空间卷积组和所述语义卷积组之后均包括一个1x1的卷积层， 所述空间卷积组之后的卷 积层的层数为128层， 所述语义卷积组之后的卷积层的层数为256层， 所述第一二维反卷积 层和所述第二 二维反卷积层包括3 ×3的卷积核和128层步长为2的输出层。 5.根据权利要求4所述的方法， 其特征在于， 步骤S300中所述基于注意力机制的多尺度 特征融合模块进行 所述空间特 征和所述语义特 征融合得到融合后的特 征， 包括： 步骤S360： 对所述空间特征和所述语义特征使用尺度不同的两个分支来提取通道注意 力权重， 其中一个分支使用全局平均池化来提取全局特征的通道注意力得到全局通道信 息， 另一个分支使用po int‑wise卷积提取局部特 征的通道 注意力得到局部通道信息； 步骤S370： 将计算得到的所述局部通道信息和所述全局通道信息进行融合， 输出一个 权重值用来对输入特 征做注意力操作后得到 输出； 步骤S380： 将所述空间特征和所述语义特征在基于多尺度通道注意力模块的基础上进 行注意力特 征融合得到融合后的特 征。 6.根据权利要求5所述的方法， 其特 征在于， 所述局部通道信息计算具体为: L(X)＝B(PWCo nv2( δ(B(PWCo nv1(X))))) 其中， PWConv1为通过1 ×1卷积将输入的空间特征X通道数减少为原先的 B表示 BatchNorm层， δ表示ReLU激活函数， PWConv2是通过1×1的卷积将通道数目恢复成与原输入 通道数目相同， 局部通道信息L(X)。 7.根据权利要求6所述的方法， 其特 征在于， 步骤S370具体为： 其中， X'为注意力操作， 表示广播加法操作， X为空间特征， g(X)为全局通道信息， L (X)为局部通道信息， 表示两个特征图对应元素相乘， 表示的是 多尺度通道 注意力模块操作。 8.根据权利要求7 所述的方法， 其特 征在于， 步骤S380具体为： 其中， Z∈RC×H×W是语义特征和空间特征融合后的输出特征， +表示初始特征的简单集 成， 融合权重M(X+Y)由0到1之间的实数组成， 融合权重1 ‑M(X+Y)由0到1之间的实数组成， X 为空间特 征， Y为语义特 征。 9.根据权利要求8所述的方法， 其特征在于， 所述多任务检测头预测模块包括有 bounding  box的正负性分类、 bounding  box的IoU回归、 bounding  box自身的回归， 以及 boundingbox方向的分类。 10.根据权利要求9所述的方法， 其特 征在于， 预设的损失函数， 具体为：权　利　要　求　书 2/3 页 3 CN 115393601 A 3