(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210938221.8 (22)申请日 2022.08.05 (71)申请人 中国民用航空飞行 学院 地址 618307 四川省德阳市广汉市南昌路 四段46号 (72)发明人 潘卫军　黄园晶　吴岳洲　蒋倩兰　 覃莉茹　尹子锐　冷元飞　王梓璇　 王玄　王润东　左青海　 (74)专利代理 机构 北京市领专知识产权代理有 限公司 1 1590 专利代理师 潘镜如 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 20/52(2022.01) G08G 5/00(2006.01) (54)发明名称 基于数字孪生的飞机着陆姿态监视方法 (57)摘要 本发明涉及基于数字孪生的飞机着陆姿态 监视方法， 包括步骤： 从多个红外热成像监视器 采集的着陆飞机视频数据中提取飞机目标， 并基 于卷积神经网络对飞机目标进行轮廓提取； 同时 通过ADS‑B系统获取飞机目标的位置数据； 基于 飞机目标的轮廓， 确定飞机着陆过程中的姿态数 据； 所述姿态数据包括滚转姿态参数、 偏航姿态 参数、 俯仰姿态参数； 将位置数据和姿态数据进 行时空同步融合， 构建飞机目标的数字孪生模 型； 将飞机目标的数字孪生模型映射到虚拟场景 中。 本发明的目的在于针对飞机着陆姿态的监视 对空中交通管理进行优化以及保障飞行安全。 权利要求书2页 说明书8页 附图1页 CN 115329932 A 2022.11.11 CN 115329932 A 1.基于数字 孪生的飞机着陆姿态监视方法， 其特 征在于： 包括以下步骤： 步骤S1， 从多个红外热成像监视器采集的着 陆飞机视频数据中提取飞机目标， 并基于 卷积神经网络对飞机目标进行轮廓提取； 同时通过AD S‑B系统获取飞机目标的位置数据； 步骤S2， 基于飞机目标的轮廓， 确定飞机着陆过程中的姿态数据； 所述姿态数据包括滚 转姿态参数、 偏航姿态参数、 俯仰姿态参数； 步骤S3， 将位置数据和姿态数据进行时空同步融合， 构建飞机目标的数字 孪生模型； 步骤S4， 将飞机目标的数字 孪生模型映射到虚拟场景中。 2.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述红 外热成像监视器包括五个， 其中一个设置在机场塔台顶端， 两个 分别设置在机场跑道两端， 剩余两个分别设置在机场跑道两侧。 3.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述从 多个红外热成像监视器采集的着陆飞机 视频数据中提取飞机目标的步骤， 包括： 采用滤波算法对着陆飞机视频数据进行预处理， 将着陆飞机从机场着陆环境中提取出 来， 并利用已标注好的飞机 机型数据库在Dark Net‑53网络下对飞机目标进行 特征图提取； 将飞机目标的特征图输入FPT特征融合网络， 生成K ‑Means聚类选取的先验框， 将先验 框输入回归预测层， 得到最终的飞机目标。 4.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述并 基于卷积神经网络对飞机目标进行轮廓提取 的步骤， 包括： 基于提取 的飞机目标进行关键 部位标注定点， 提取飞机目标的特征点， 所述特征点包括机头定位点、 机尾定位点、 机翼定 位点； 对识别的飞机目标进行图像预处理， 得到二值化图像， 设定阈值， 对二值化图像进行 边缘检测； 再使用Hough变换定位方法得到特征点基于亚像素的坐标， 使用平滑曲线连接各 特征点， 从而完成对飞机目标的轮廓提取。 5.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述基 于飞机目标的轮廓， 确定飞机着陆过程中的姿态数据的步骤， 包括： 确定飞机目标的重心和机体轴， 构建机体轴坐标系OXYZ， 将飞机目标的重心作为机体 轴坐标系OXYZ的原 点O； 横轴X轴平行于机翼， 指向飞机右侧方向， 所述机翼为平均空气动力 弦， 机身向右侧滚动为正， 向左侧滚动为负； 纵轴Y轴平行于机体轴， 并指向机头方向， 机头 向左侧偏转为正， 向右侧偏转为负； 立轴Z轴与飞机升力方向平行且垂 直于横轴X轴和纵轴Y 轴， 机头向上仰为 正， 向下俯为负； 其中， 机翼方向与OXY平面的夹角为滚转姿态参数β， 机头方向与OXZ平面的夹角为偏航 姿态参数γ， 机身升力方向与OYZ平面的夹角为俯仰姿态参数θ 。 6.根据权利要求1所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述将 位置数据和姿态数据进行时空同步融合的步骤， 包括： 利用时间点对姿态数据和位置数据进行标记， 使得每个数据赋予对应的时间标签； 将 同一时刻 对应的姿态数据与位置数据相匹配， 形成包含了飞机着陆过程中每个时刻对应的 姿态、 位置的多源融合数据集， 所述多源融合数据中包括航班号、 起降时间、 飞机机型、 经 度、 纬度、 高度、 速度、 姿态； 利用所述多源融合数据集对着陆飞机映射实时综合飞机信 息标牌， 并按照时序 数据的 方式存储在云端。权　利　要　求　书 1/2 页 2 CN 115329932 A 27.根据权利要求6所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述将 同一时刻 对应的姿态数据与位置数据相匹配， 形成包含了飞机着陆过程中每个时刻对应的 姿态、 位置的多源融合数据集的步骤之后， 还 包括步骤； 将飞机目标的特征点的经度、 纬度坐标转换到WGS ‑84坐标系上， 使用卡尔曼滤波法对 不连续、 抖动的姿态数据与位置数据进行平滑处理； 采用基于视野分界线的直接全景拼接 方法， 对着陆飞机 视频数据进行拼接融合， 得到互补融合后的多源融合数据集。 8.根据权利要求6所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述构 建飞机目标的数字孪生模型的步骤， 包括： 基于多源融合数据集采集 飞机目标三维点云， 使 用透视变换法对飞机目标三 维点云坐标进 行归一化处理得到校正后的齐次坐标， 从而构建 飞机目标的数字 孪生模型。 9.根据权利要求8所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述使 用透视变换法对飞机目标三 维点云坐标进 行归一化处理得到校正后的齐次坐标的步骤， 包 括： 将飞机目标的特 征点作为基础点定义透 视变换， 透 视变换通过映射矩阵T表示： 其中， T1＝[a11 a12 a21 a22]表示飞机目标三维点云的图像线性变换； T2＝[a13a23]用于 产生图像透 视变换； T3＝[a31 a32]表示图像平 移； 计算时通常令a33＝1； 采集的飞机目标三维点云通过映射矩阵T得到变换后的校正图像： 对校正图像进行归一 化处理得到飞机目标三维点云的齐次坐标： 其中， (x,y,z)为飞机目标三维点云进行透视变换之前的齐次坐标， (X`,Y`,Z`)为飞机 目标三维点云进行透 视变换之后的齐次坐标。 10.根据权利要求6所述的基于数字孪生的飞机着陆姿态监视方法， 其特征在于： 所述 将飞机目标的数字 孪生模型映射到虚拟场景中的步骤， 包括： 通过步骤S1 ‑步骤S3得到多种机型的飞机目标的数字孪生模型， 结合多源融合数据集 确定数字孪生模 型的姿态数据和位置数据， 使用K ‑Means聚类法将多源融合数据集、 综合飞 机信息标牌以及数字 孪生模型相关联； 将空管信息、 机场信 息、 着陆飞机视频数据协同响应叠加到虚拟场景中， 将着陆飞机的 数字孪生模型嵌入虚拟场景中， 完成机场着陆区域的数字化场景构建。权　利　要　求　书 2/2 页 3 CN 115329932 A 3