(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210289428.7 (22)申请日 2022.03.23 (71)申请人 西安电子科技大 学 地址 710000 陕西省西安市雁塔区太白南 路2号 (72)发明人 秦翰林　朱文锐　延翔　林凯东　 许景贤　张天吉　侯本照　代杨　 李兵斌　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 王海栋 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于激光点云的三维信息增强的检测 识别方法及装置 (57)摘要 本发明涉及一种基于激光点云的三维信息 增强的检测识别方法及装置， 该方法包括： 对原 始点云数据进行体素化处理得到若干体素； 提取 每个非空体素的点云体素特征得到若干特征图； 将若干特征图输入到区域建议网络中生成第一 阶段候选框； 将第一阶段候选框输入点云空间形 状补全网络中， 得到目标点集； 从目标点集中提 取点云结构信息得到全局结构信息； 从原始点云 数据中采样每个关键点附近的非空体素特征结 合作为关键点特征； 对关键点特征进行提取得到 网格点特征； 将网格点特征和全局结构信息进行 融合得到增强特征； 对增强特征进行置信度预测 和候选框细化得到置信度和边界框参数。 该方法 增强了点云数据的特征表示， 提高了激光点云目 标检测精度。 权利要求书3页 说明书9页 附图5页 CN 114821033 A 2022.07.29 CN 114821033 A 1.一种基于 激光点云的三维信息增强的检测识别方法， 其特 征在于， 包括 步骤： 对原始点云数据进行体素化处 理， 得到若干体素； 利用稀疏卷积网络提取所述若干体素中每个非空体素的点云体素特征， 得到若干特征 图； 将所述若干特 征图输入到区域建议网络中生成第一阶段候选 框； 将所述第一阶段候选框输入点云空间形状补全 网络中以补全点云空间形状， 得到目标 点集； 使用多尺度分组策略从所述目标点 集中提取点云结构信息， 得到全局结构信息； 从所述原始点云数据中采样每个关键点附近的所述非空体素特征结合作为关键点特 征； 利用图神经网络和注意力 机制结合的特征提取模块对所述关键点特征进行提取， 得到 网格点特 征； 将所述网格点特 征和所述全局结构信息进行融合， 得到增强特 征； 对所述增强特 征进行置信度预测 和候选框细化， 得到 置信度和边界框参数。 2.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 对原始点云数据进行体素化处 理， 得到若干体素， 包括： 将所述原 始点云数据按照固定分辨 率划分为 立体网格， 得到所述若干体素。 3.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 利用稀疏卷积网络提取所述若干体素中每个非空体素 的点云体素特征， 得到若干特征图， 包括： 构建所述稀疏 卷积网络； 将所述每个非空体素中点的平均坐标和所述原始点云数据中的反射率作为初始特征 输入至所述稀疏 卷积网络， 输出 所述若干特 征图。 4.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 将所述第一阶段候选框输入点云空间形状补全网络中以补全点云空间形状， 得到目标点 集， 包括： 利用ROI感知池化模块对所述第一阶段候选 框内部的点 集进行处 理， 得到第一矩阵； 将所述第一矩阵输入多层感知机获取第 一中间特征， 并将所述第 一中间特征输入最大 池化层获取第二中间特 征； 将所述第二中间特 征与所述第一中间特 征结合得到第三中间特 征； 将所述第三中间特 征依次输入多层感知机和最大池化层获取全局特 征； 将所述全局特 征通过全连接层叠加以生成所述目标点 集。 5.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 使用多尺度分组策略从所述目标点 集中提取点云结构信息， 得到全局结构信息， 包括： 使用最远点采样算法从所述目标点 集中选择若干点组成目标集 合； 利用多层感知机和最大池化层提取所述目标集合中每个点的局部上下文， 得到第 二矩 阵； 利用所述多尺度分组策略从所述第二矩阵中提取 结构信息， 得到目标张量； 将所述目标张量 通过全连接层生成所述全局结构信息 。权　利　要　求　书 1/3 页 2 CN 114821033 A 26.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 从所述原始 点云数据中采样 每个关键点附近的所述非空体素特征结合作为关键点特征， 包 括： 使用最远点采样算法从所述原 始点云数据中采取若干关键点； 计算每个所述关键点在稀疏卷积网络的第 k个稀疏卷积模块中以所述关键点为 圆心的 目标半径范围内的非空体素 特征集合： 其中 ， 表示对于关键点的相对坐标 ， di表示关键点 ， rk表示目标半径， 表示示第K个稀疏卷积模块中关键点的三维坐标， 表示第K个稀疏 卷积模块中输出的特 征； 利用所述非空体素特征集合生成每个所述关键点在所述第 k个稀疏卷积模块的输出特 征： 其中， M(·)表示随机采样 操作， G(·)表示多层感知机进行的操作； 将每个所述关键点在每 个稀疏卷积模块的输出 特征连接起来， 得到所述关键点特 征。 7.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 所述网格点特 征为： 其中， Ω(r)表示网格点的固定半径r内的所有点， W( ·)表示用于将图边映射到标量或 向量权重空间中， σ*表示具有学习性的门函数， 表示两个节点之间位置差的线性投影， Ki＝Linear(fi)， Ki表示键映射， Vi表示节点 i的特征。 8.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 将所述网格点特 征和所述全局结构信息进行融合， 得到增强特 征， 包括： 利用透视通道注意模块将所述网格点特征和所述全局结构信 息进行融合， 得到增强特 征。 9.根据权利要求1所述的基于激光点云的三维信 息增强的检测识别方法， 其特征在于， 对所述增强特 征进行置信度预测 和候选框细化， 得到 置信度和边界框参数， 包括： 将所述增强特征依次输入两层多层感知机提取特征向量， 并将所述特征向量输入第 一 分支网络进行置信度预测， 输入第二分支网络进行候选框细化， 得到所述置信度和所述边 界框参数。 10.一种基于 激光点云的三维信息增强的检测识别装置， 其特 征在于， 包括： 点云体素化模块， 用于对原 始点云数据进行体素化处 理， 得到若干体素；权　利　要　求　书 2/3 页 3 CN 114821033 A 3