(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211135259.8 (22)申请日 2022.09.19 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张登银　冯莹莹　黄丽　严伟丹　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的高精度点云补全方法 及装置 (57)摘要 本发明公开了一种基于深度学习的高精度 点云补全方法及装置， 包括： 在特征提取模块引 入动态核卷积PA Conv， 可以根据每个点与其邻域 点的位置关系学习权重系数， 并组合权重矩阵自 适应地构建卷积内核。 在特征融合模块添加了空 间注意力机制， 有助于解码器更好学到多种特征 之间的相互关系， 从而更好的表示这些特征信 息。 鉴别器模块包含全局和局部注 意力鉴别器模 块， 利用多层全连接进行分类， 分别从整体和局 部来判断生成结果是否 符合真实点云分布， 进而 优化生成结果。 从而提高点云补全的精度， 得到 完整准确的点云补全结果， 这也为点云分割、 分 类、 物体识别以及点云重建等诸多下游任务的顺 利进行提供了保障。 权利要求书3页 说明书7页 附图2页 CN 115439694 A 2022.12.06 CN 115439694 A 1.一种基于深度学习的高精度点云补全方法， 其特 征在于， 包括： 获取待处 理的点云数据； 对所述点云数据进行 预处理， 得到预处 理后的点云数据； 将预处理后的点云数据输入训练好的点云补全模型， 其中所述点云补全模型包括多分 辨率编码器模块、 金字塔解码器模块和注意力鉴别器模块； 所述多分辨率编码器模块， 被配置为： 对输入的点云数据进行特征提取、 融合， 得到特 征向量； 所述金字塔解码器模块， 被配置为： 对所述特征向量进行处理得到三个尺度的点云补 全结果； 所述注意力鉴别器模块， 被配置为： 使用生成对抗网络的思想， 通过生成模型和判别模 型相互博 弈学习来产生全局 和局部特征一致性的结果； 根据所述 点云补全 模型的输出， 确定高精度点云补全结果。 2.根据权利要求1所述的基于深度学习的高精度点云补全方法， 其特征在于， 所述多分 辨率编码器模块包括特 征提取模块和特 征融合模块， 特征提取模块中在共享权重的多层感知机MLP嵌入动态卷积层PAConv， 根据每个点与 其邻域点的位置关系 学习权重系 数， 并组合权重矩阵自适应地构建卷积 内核， 提高局部细 节特征提取能力； 在特征融合模块添加空间注意力机制， 实现空间维度上的特 征聚焦； 将最远点采样生成三个不同尺度的缺失点云输入多分辨 率编码器模块； 使用嵌入动态核卷积PAConv的多层感知机的特征提取模块对三个不同尺度的缺失点 云进行特征提取， 生成多维特征 向量V1， V2， V3； 输出的多维特征 向量V1， V2， V3输入由空间注 意力机制构成的特征融合模块， 空间注意力机制学习综合局部特征和全局信息的102 4维抽 象特征， 输出加 权后每个位置的特征； 再以拼接数组将3个1024维度的抽象特征拼接， 最后 使用MLP将 潜在特征映射整合到最终的特 征向量V， 维度为1024。 3.根据权利要求2所述的基于深度学习的高精度点云补全方法， 其特征在于， 所述动态 核卷积PACo nv的构建方法包括： 初始化一个由K个大小为Cin×Cout的权重矩阵组成的权重库W＝{Wk|k＝1， 2， ...， K }， 其 中Cin表示网络在当前层的输入维度， Cout表示网络在当前层的输出维度； 计算输入点云中每一个点pi与邻域点pj的相对位置关系， 学习不同位置的权重系数 表示为： Eij＝Softmax( θ(pi， pj)) 其中θ是核大小为1 ×1的卷积实现的非线性函数； 使用Softmax函数进行规范化操作确 保输出分数在范围(0， 1)之间； 较高的分数意味着对应的位置具有更重要的局部信息； PAConv的内核是通过组合权 重矩阵Wk和从点位置学习到的权 重系数 构成的， 至此， 动态核卷积PAConv完成自适应地构建卷积内核 的工作， 用于捕获输入特征局部权　利　要　求　书 1/3 页 2 CN 115439694 A 2区域的信息， 输出 具有局部关联性的特 征。 4.根据权利要求3所述的基于深度学习的高精度点云补全方法， 其特征在于， K取值为 16。 5.根据权利要求1所述的基于深度学习的高精度点云补全方法， 其特征在于， 对所述特 征向量进 行处理得到三个尺度的点云补 全结果， 包括： 特征向量V经过全连接层得到三个不 同分辨率的子特征向量U1， U2， U3， 每个子特征向量负责补全不同分辨率的点云； 利用U3预测 初级点云P3， 用U2预测次级点云P2距离P3中心点的相对坐标， 使用重组和全连接操作根据P3 生成次级点云P2； 利用U1和P2预测最终点云P1距离P2中心点的相对坐标， 以此补充最终点云 P1。 6.根据权利要求1所述的基于深度学习的高精度点云补全方法， 其特征在于， 所述注意 力鉴别器模块包括全局注意力鉴别器和全局注意力鉴别器； 全局鉴别器用于查看整个点云 补全结果来评估其整体一致性， 局部鉴别器模块查看以已完成区域为中心的小区域， 以确 保生成点云的局部一 致性。 7.根据权利要求6所述的基于深度学习的高精度点云补全方法， 其特征在于， 所述注意 力鉴别器模块的处理过程包括： 将整体或局部生成点云和真实点云送入注意力鉴别器， 通 过其中的自编码器获得维度为512的特征向量， 再通过连续的全 连接层降低维度[512 ‑256‑ 128‑16‑1]， 输出最终fake或real的二 值结果。 8.根据权利要求1所述的基于深度学习的高精度点云补全方法， 其特征在于， 所述点云 补全模型的训练方法， 包括： 损失函数包括两个部分： 生成损失和对抗损失； 利用倒角距离 CD计算生成点云和地 面真实点云之间平均最短点距离， 计算公式为： 其中， x、 y表示生成点云或真实点云中的某个点； ||*||表示距离； CD计算了生成点云S1 和真实点云S2之间的平均最近平方距离， 最终的生成结果是三个不同尺度的生成点云P1、 P2、 P3， 生成损失也由三部分构成， dCD3分别对应三个不同尺度生成点云的CD 值， 其中α 表示 生成损失中的求和权 重； 生成损失Lcom表达式为： 其中， P1gt、 P2gt、 P3gt分别为三个不同尺度的生成点云所对应的真实点云； 对抗损失借鉴对抗 性网络GAN， 对抗损失Ladv为： Ladv＝∑1≤i≤Slog10(G(yi))+∑1≤j≤Slog10(1‑G(E(D(xi)))) 其中， yi和xi分别属于原始残缺点云和真实点云， S表示数据集尺寸； E、 D、 G分别表示多 分辨率编码器、 金字塔解码器和注意力鉴别器； 总损失函数L由生成损失和对抗损失共同构成： L＝β Lcom+λLadv β和 λ分别是生成损失Lcom和对抗损失Ladv的权重， 满足以下条件： β +λ＝1； 倒角距离CD也 作为测试补全性能的评估指标。权　利　要　求　书 2/3 页 3 CN 115439694 A 3