(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210268285.1 (22)申请日 2022.03.18 (71)申请人 南京航空航天大 学深圳研究院 地址 518000 广东省深圳市南 山区粤海街 道高新南四道19号虚拟大学园R4栋A 区218室 (72)发明人 魏明强　魏泽勇　司华剑　宫丽娜　 燕雪峰　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 牛婧 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多类型几何特征算子的飞机蒙皮关键 特征检测方法 (57)摘要 本发明公开了一种基于多类型几何特征算 子的飞机蒙皮关键特征检测方法， 包括： 获取大 型飞机蒙皮的三维点云数据； 为三维点云数据中 的每一个点构造一个含有多类型2D几何特征的 算子图集合； 将构造的多类型2D几何特征算子图 集合输入到训练好的双注意力与多尺度感知点 云分类网络中， 学习铆钉和对 缝在多个算子中的 特征， 将三维点云数据分类； 采用多层次模型拟 合算法提取铆钉区域中的铆钉轮廓特征以及提 取对缝区域中的对缝轮廓特征； 基于提取的铆钉 轮廓特征和对缝轮廓特征进行铆钉齐平度分析 与对缝阶差分析。 本发明的飞机表 面铆钉对 缝检 测方法实现了飞机蒙皮表面小尺度关键特征铆 钉和细小对 缝的精确自动化提取， 提高飞机装配 质量。 权利要求书3页 说明书7页 附图3页 CN 114626470 A 2022.06.14 CN 114626470 A 1.一种基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特征在于， 包括以 下步骤： (1)获取大型飞机蒙皮的三维点云数据； (2)基于三维点云数据的多种几何属性， 为三维点云数据中的每一个点构造一个含有 多类型2D几何特 征的算子图集 合； (3)将步骤(2)构造的多类型2D几何特征算子图集合输入到训练好的双注意力与多尺 度感知点云分类网络中， 学习铆钉和对缝在多个算子中的特征， 将三维点云数据分类为铆 钉区域、 对缝区域、 非特 征区域； (4)采用多层次模型拟合算法提取铆钉区域中的铆钉轮廓特征以及提取对缝区域中的 对缝轮廓特 征； (5)基于提取的铆钉 轮廓特征和对缝轮廓特 征进行铆钉 齐平度分析与对缝阶差分析。 2.根据权利要求1所述基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特 征在于， 步骤(1)包括如下子步骤： (1.1)使用Leica  ATS960绝对跟踪仪多次采集飞机蒙皮三维点云数据， 多次采集的三 维点云数据覆盖飞机蒙皮表面待检测关键特 征区域； (1.2)使用迭代最近点算法将多次采集的三维点云数据拼接成完整大型飞机蒙皮三维 点云数据。 3.根据权利要求1所述基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特 征在于， 步骤(2)包括如下子步骤： (2.1)对于三维点云数据中的每一个点p， 计算三维点云数据中所有点到该点的距离， 取最近的k个点作为其邻域点集， 利用主 元分析法， 计算点p和邻域点集中所有点的法矢； 以 点p为原点， 点p 的法矢为Z轴， 建立局部坐标系， 将点p及其邻域点集投影到局部坐标系的 XY‑平面， 构建边与X轴 、 Y轴均平行最小正方 形包围盒， 将包围盒切分成n ×n的平面网格； (2.2)计算每个网格内的邻域点的投影高度、 法矢、 高斯曲率、 平均曲率、 稠密度编码邻 域点的几何信息， 形成多类型2D几何特征算子图， 包括： 高度图算子、 法矢图算子、 曲率图算 子、 稠密图算子 。 4.根据权利要求1所述基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特 征在于， 步骤(3)中所述双注意力与多尺度感知点云分类网络由多类型几何特征算子集合 特征提取模块、 双注意力特征增强模块和关键特征点分类模块依 次连接构成； 所述多类型 几何特征算子集合特征提取模块使用共享权重的卷积神经网络提取多类型2D几何特征算 子图的特征； 所述双注意力特征增强模块由自注意力模块和通道注意力SK网络模块组成， 所述自注意力模块使用自注意力机制， 对每一类2D几何特征算子的特征， 通过卷积层和 softmax激活函数， 获得2D几何特征算子特征中每个数据的权重， 与对应的2D几何特征算子 特征进行哈达玛积运算， 得到2D几何特征算子图的自注意增强特征， 将自注意增强特征输 入通道注意力SK网络模块， 学习到不同类几何特征算子图的自注 意增强特征对于最 终分类 的贡献程度， 输出多算子融合特征； 所述关键特征点分类模块由多尺度感知网络模块MSP、 卷积层和softmax激活函数依次连接构成， 所述多尺度感知网络模块MSP对多算子融合特征 进行不同尺度的卷积、 池化、 相加操作， 得到多尺度融合特征； 再将多尺度融合特征通过卷 积操作和softmax激活函数， 得到三维点云数据的每个点在铆钉区域、 对缝区域、 非特征区权　利　要　求　书 1/3 页 2 CN 114626470 A 2域上的概 率。 5.根据权利要求1所述基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特 征在于， 步骤(3)中双注意力与多尺度感知点云 分类网络的训练过程具体为： (a)将一个多类型2D几何特征算子图集合输入到双注意力与多尺度感知点云分类网络 中的多类型几何特 征算子集 合特征提取模块， 提取算子特 征； (b)将提取的算子特征输入到双注意力与多尺度感知点云分类网络中的双注意力特征 增强模块， 对每个算子特征， 使用自注 意学习模块， 通过卷积和softmax运算， 得到与算子特 征相同维度大小的权重矩阵， 与算子特征进 行哈达玛积运算， 得到自注意增强特征， 将所有 算子的自注 意增强特征进 行拼接， 得到拼接特征， 将拼接特征输入SK通道注 意力模块， 在通 道维度进行卷积和softmax运算， 得到通道维度上的权重矩阵， 与拼接特征进 行哈达玛积运 算， 得到多算子融合特 征； (c)将多算子 融合特征输入到双注意力与多尺度感知点云分类网络中的关键特征点分 类模块， 预测出每个三维点云数据在铆钉区域、 对缝区域、 非特征区域上的概率， 并将概率 值最大的区域作为该三维点云数据所在区域； (d)重复步骤(a) ‑(c)， 直至交叉熵损失函数收敛， 完成对双注意力与多尺度感知点云 分类网络的训练。 6.根据权利要求1所述基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特 征在于， 步骤(4)中提取铆钉区域中的铆钉 轮廓特征的具体过程 为： (4.1.1)从铆钉区域的所有三维点云数据中随机采样点云子集， 采样的点云子集数量 大于铆钉个数， 用随机一致性采样方法将每个点云子集拟合成一个圆模型假设， 同时得到 每个圆模型假设的参数， 构成圆模型假设集 合； 所述圆模型假设的参数包括圆心和半径； (4.1.2)对于每一个圆模型假设， 当其半径与实际铆钉半径的误差小于阈值时， 保留该 圆模型假设； (4.1.3)根据铆钉离散分布的空间特性， 比较保留的圆模型假设中的每个圆模型假设 与其他圆模型假设的圆心之间的距离， 将距离小于2倍铆钉半径的圆模型假设聚类成一个 铆钉模型假设集 合； (4.1.4)将每一个铆钉模型假设集合的所有圆模型假设的铆钉区域三维点云数据合并 为一个点云， 并将所述点云从铆钉区域删除， 用随机一致性采样方法将所述点云拟合成圆， 将拟合的圆作为 一个铆钉 轮廓特征； (4.1.5)如果步骤(4.1.4)得到的铆钉轮廓特征少于待检测铆钉总数， 则对铆钉区域 中 未采样的三维点云数据重复步骤(4.1.1) ‑(4.1.4)。 7.根据权利要求1所述基于多类型几何特征算子的飞机蒙皮关键特征检测方法， 其特 征在于， 步骤(4)中提取对缝区域中的对缝轮廓特 征的过程具体为： (4.2.1)从对缝区域的所有三维点云数据中随机采样点云子集， 采样的点云子集数量 大于对缝个数， 用随机一致性采样方法将每个点云子集拟合成一个曲线模型假设， 构成曲 线模型假设集 合； (4.2.2)对于每一个曲线模型假设， 当对缝区域点云中的点到该拟合曲线 的距离小于 距离阈值， 且距离小于距离阈值的点数 大于设定点数阈值时， 保留该曲线模型假设； (4.2.3)将保留的曲线模型假设到其他曲线模型假设的最近点距离小于阈值且保留的权　利　要　求　书 2/3 页 3 CN 114626470 A 3