(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211145322.6 (22)申请日 2022.09.20 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号大院 (72)发明人 李光平　刘诚辉　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 许庆胜 (51)Int.Cl. G06T 17/20(2006.01) G06N 20/00(2019.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于通道注意力机制的三维点云分类 方法及装置 (57)摘要 本发明公开了一种基于通道注意力机制的 三维点云分类方法及装置， 包括： 获取点云的三 维坐标并进行预处理得到点云的坐标特征； 将点 云的坐标特征输入到训练好的点云特征识别模 型中， 得到第一数量的点云全局特征； 点云特征 识别模型基于点云局部图特征融合任务和点云 全局特征学习任务进行训练， 点 云全局特征学习 任务基于通道注意力机制学习点云全局上下文 结构信息， 通道注意力机制是基于特征通道且嵌 入了邻接矩阵的注意力机制； 将第一数量的点云 全局特征输入到训练好的点云分类模 型中， 输出 三维点云的分类结果。 本发明同时嵌入点云局部 特征动态融合和全局特征学习， 模型参数量更 少， 训练速度更快， 能提高网络性能和模型的鲁 棒性。 权利要求书3页 说明书11页 附图4页 CN 115375877 A 2022.11.22 CN 115375877 A 1.一种基于通道 注意力机制的三维点云 分类方法， 其特 征在于， 包括： 获取点云的三维坐标并进行 预处理得到点云的坐标 特征； 将所述点云的坐标特征输入到训练好的点云特征识别模型中， 得到第 一数量的点云全 局特征； 其中， 所述点云特征识别模型基于点云局部图特征融合任务和 点云全局特征学习 任务进行训练， 所述点云全局特征学习任务基于通道注意力机制学习点云全局上下文 结构 信息， 所述 通道注意力机制是基于特 征通道且嵌入了邻接矩阵的注意力机制； 将所述第一数量的点云全局特征输入到训练好的点云分类模型中， 输出三维点云的分 类结果， 所述 点云分类模型基于点云全局特 征进行训练。 2.根据权利要求1所述的基于通道注意力 机制的三维点云分类方法， 其特征在于， 所述 点云特征识别模型基于点云局部图特 征融合任务和点云全局特 征学习任务进行训练包括： 根据点云的坐标 特征进行邻域 点选取得到对应的多个点云局部图特 征； 将所述多个点云局部图特征和所述点云的坐标特征进行升维操作和自适应动态融合， 得到点云局部融合特 征； 根据所述点云局部 融合特征和通道注意力 机制学习点云全局上下文结构信 息， 得到点 云全局特 征。 3.根据权利要求2所述的基于通道注意力 机制的三维点云分类方法， 其特征在于， 将所 述多个局部图特征和所述点云的坐标特征进 行升维操作和自适应动态融合， 得到点云局部 融合特征包括： 将所述局部图特 征进行升维操作， 得到更高维度的局部图特 征向量； 将所述点云的坐标 特征进行升维操作， 得到更高维度的点云坐标 特征向量； 局部图特 征向量进行最大池化操作， 得到局部聚合特 征向量； 基于动态融合机制将所述局部聚合特征向量和所述点云坐标特征向量进行自适应动 态融合， 得到点云局部融合特 征。 4.根据权利要求3所述的基于通道注意力 机制的三维点云分类方法， 其特征在于， 基于 动态融合机制将所述局部聚合特征向量和所述点云坐标特征向量进行自适应动态融合， 得 到点云局部融合特 征包括： 将fj1和fi1相加形成紧凑的特 征表示， 即fu＝fj1+fi1； 对fu进行两次MLP操作得到更新后的特 征向量fu1； 利用sigmo id函数将fu1压缩成注意向量， 并为 其分配权 重分数Wu1； 通过fL＝Wu1×fj1+(1‑Wu1)×fi1得到点云局部融合特 征； 其中， fL为点云局部融合特 征， fj1为局部聚合特 征向量， fi1为点云坐标 特征向量。 5.根据权利要求2所述的基于通道注意力 机制的三维点云分类方法， 其特征在于， 根据 所述点云局部融合特征和通道注意力机制学习点云全局上下文结构信息， 得到点云全局特 征包括： 将所述点云局部 融合特征与相应的注意力 权重进行卷积运算得到注意力矩阵， 所述注 意力权重包括查询权重、 关键字权重和值权 重； 将所述注意力矩阵转 化为多头注意的注意力矩阵， 以便充分学习特 征向量信息； 利用基于特 征通道的自注意力向量， 引入可 学习的参数以获得 更均匀的注意力权 重； 将所述自注意力向量与值权 重进行结合计算；权　利　要　求　书 1/3 页 2 CN 115375877 A 2创建一个可学习的邻 接矩阵， 将所述邻 接矩阵嵌入到自注意力 机制中以充分学习特征 通道中的图节点特 征； 将学习更新之后的全局特征与输入特征通过残差连接， 以保证特征的整体性和多样 性， 得到点云全局特 征。 6.根据权利要求5所述的基于通道注意力 机制的三维点云分类方法， 其特征在于， 将所 述邻接矩阵嵌入到自注意力机制中以充分学习特征通道中的图节点特征， 得到点云全局特 征包括： 首先， 随机生成一个向量矩阵 将A与Q相乘得到 将G与V结合后通过激活函数relu得到新的特 征向量： G＝relu(G+Q)； 将学习更新之后的矩阵向量G与V进行点积运算得到 其中 将Y与Z结合： 融合多头注意 d0＝h×d1； 将学习更新之后的全局特征与输入特征通过残差连接， 以保证特征的整体性和多样 性， 即F＝relu(bn(mlp(F) )+fL)； 其中， N为点云的数量， fL为点云局部融合特征， d0为点云局部融合特征的通道 数量， h为 多头注意的数量， d1为特征向量F的通道维度， bn是BatchNorm函数， MLP为多层感知机， F为 点云全局特 征。 7.根据权利要求1所述的基于通道注意力 机制的三维点云分类方法， 其特征在于， 所述 点云分类模型基于点云全局特 征进行训练包括： 将多个点云全局特征进行拼接操作得到第一全局特征向量， 再经过一个共享的MLP更 新特征表示得到第二全局特 征向量； 利用最大值池化和平均值池化分别对所述第 二全局特征向量进行池化操作， 然后进行 拼接操作得到第三全局特 征向量； 将所述第三全局特 征向量输入至全连接层， 输出点云的分类结果。 8.根据权利要求1 ‑7任意一项所述的基于通道注意力机制的三维点云分类方法， 其特 征在于， 对点云的三维坐标进行 预处理包括： 对点云的三维坐标进行 下采样操作、 数据转换及随机的数据增强操作。 9.一种基于通道 注意力机制的三维点云 分类装置， 其特 征在于， 包括： 点云坐标特征获取模块， 用于获取点云的三维坐标并进行预处理得到点云的坐标特 征； 点云全局特征获取模块， 用于将所述点云的坐标特征输入到训练好的点云特征识别模 型中， 得到第一数量的点云全局特征； 其中， 所述点云特征识别模型基于点云局部图特征融 合任务和点云全局特征学习任务进行训练， 所述点云全局特征学习任务基于通道注意力机 制学习点云全局上下文结构信息， 所述通道注意力机制是基于特征通道且嵌入了邻接矩阵 的注意力机制；权　利　要　求　书 2/3 页 3 CN 115375877 A 3