(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210340880.1 (22)申请日 2022.03.31 (71)申请人 南京航空航天大 学 地址 210007 江苏省南京市秦淮区御道街 29号 (72)发明人 孙涵　刘宇泽　李明洋　王恩浩　 康巨涛　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 周宁 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多层和区域特征融合的航拍遥感 图像识别方法 (57)摘要 本发明公开了一种基于多层和区域特征融 合的航拍遥感图像识别方法， 属于细粒度图像识 别领域， 采用骨干网络Resnet ‑50， 根据航拍遥感 图像更新速度快、 图像细节模糊、 分辨率低等特 点进行了针对性的改进。 本发明采用的新的多层 融合和区域特征融合方式， 多层融合中附带注意 力权重， 给予模型自主分配融合比重的能力， 使 对于浅层特征图中细节部分的选取具有灵活性， 更好的保留了对于遥感图像局部细节特征信息 的利用， 兴趣区域的提取策略减少了区域特征融 合的计算 开销和参数量。 权利要求书3页 说明书8页 附图5页 CN 114882352 A 2022.08.09 CN 114882352 A 1.一种基于多层和区域特征融合的航拍遥感图像识别方法， 其特征在于， 包括以下步 骤： 步骤(1)航拍图像数据集制作： 对数据集进行预处理操作， 图像填充后随机裁剪， 并进 行随机旋转和水平翻转用于数据增强； 步骤(2)搭建图像识别模型： 基于航拍图像数据集， 训练图像识别模型； 步骤(3)测试图像检测过程： 利用训练好的图像识别网络以及网络权重参数对测试图 像中的图像进行识别， 并且输出 预测的类别。 2.根据权利要求1所述的基于多层和区域特征融合的航拍遥感图像识别方法， 其特征 在于， 步骤(2)具体包括以下步骤： 步骤(2.1)从骨干网络中获取 特征层： 在骨干网络ResNet ‑50的{Oi|i＝1,2,3,4,5}特征图， 选择其中的{Oi|i＝2,3,4,5}作为 多层特征融合的几个特 征层， 特征层对应的通道数为{25 6,512,1024,2048}； 步骤(2.2)融合前处 理： 对{Oi|i＝2,3,4,5}四张特征图在处理前添加注意力权重{Ai|i＝2,3,4,5},与特征图 进行元素相乘,初始化同为0.25； 通过1 ×1卷积将{Oi|i＝2,3,4,5}特征图的通道数转换为 128； 对{Oi|i＝2,3,4}三个特征图分别采用同样扩张率的扩张卷积进行操作， 最后和5 ×5 卷积核产生的感受野相同但参数减少， 从而使感受野扩大； 在分别进行独立的不同扩张率 的卷积核 卷积后， 保持扩张卷积后的通道数仍为 128； 对不同扩张率卷积后的三张特征图进 行元素相加， 最后经 过3×3的卷积核 进行融合， 输出 特征通道数为128； 步骤(2.3)融合操作： 将步骤(2.2)输出的4张处理后的特征图采用相邻相加的方式融合， 相加后分别经过3 ×3卷积核进行融合， 保持通道数为128， 得到3个特征图， 重复上述操作， 两两相邻融合， 最 后得到多层融合后的总特 征图O， 维度为(128,5 6,56)； 步骤(2.4)双线性插值重 置特征图大小： 对于步骤(2.3)产 生的维度为(128,56,56)的特征图， 采用双线性插值将特征图转化为 维度为(128,42,42)的特 征图； 步骤(2.5)兴趣区域 提取： 对步骤(2.4)中改变大小为(128,42,42)的特征图， 以14为单位将特征图的前两维划分 为3×3的平面， 按照大于1 ×1的大小提取兴趣区域， 同时将可由更小兴趣区域组合成的较 大的兴趣区域删除， 加上原来的(128,42,42)维度的特征图， 共得到19个特征图， 采用双线 性插值将不同大小的兴趣区域统一形状为(128,7,7)的特 征向量； 步骤(2.6)区域特 征融合： 将步骤(2.5)提取出的用来统一维度为(128,7,7)的特征向量转换为有权重的形式， 输 出为19个维度为(128,7,7)的特 征向量； 步骤(2.7)识别结果输出： 将步骤(2.6)得到的19张融合后的特征区域进行最后的分类操作， 首先在保留通道数 的基础上调整形状， 将19张特征图通道维以外的数据合成一维， 也就是(128,19 ×49)， 即 (128,931)， 进行平均池化后乘以权重α， 同时对最开始多层融合模块的输出特征图进行平 均池化， 得到两张形状为(128， 1)和(128,1,1)的特征向量， 在行方向一维展平后形状为权　利　要　求　书 1/3 页 2 CN 114882352 A 2(128)， 然后将两张特 征图元素加和送入Asoftmax中， 根据输出概 率得出最后的预测结果； 步骤(2.8)训练识别模型： 所有图像在送入 模型前尺寸统一调整， 根据训练配置得到网络模型参数。 3.根据权利要求2所述的基于多层和区域特征融合的航拍遥感图像识别方法， 其特征 在于， 步骤(2.2)中为了防止计算 量增加， 卷积核都固定在3 ×3这一较小量上进行运 算。 4.根据权利要求2或3所述的基于多层和区域特征融合的航拍遥感图像识别方法， 其特 征在于， 步骤(2.2)中对于前三层特征图扩张率设定为1,2,3， 对于最后一张特征图扩张率 为1,3,5。 5.根据权利要求2所述的基于多层和区域特征融合的航拍遥感图像识别方法， 其特征 在于， 步骤(2.6)的具体 计算如下： 上式中 和 指的是步骤(2.5)提取出的特征向量， Wβ和Wβ′为初始化的权重矩阵， 其参 数可以通过学习得到， bβ为偏差， t anh为非线性激活函数， βr,r′为对应 和 两个特征向量 的相关性矩阵， Wα和bα分别为用于初始化的权重矩阵和偏差， αr,r′为注意力权重， cr为 和其 他所有特 征向量与相对应注意力权 重乘积后的加 和； 通过q和k得出两个特征向量的相关性矩阵βr,r′， Wα用于它们的非线性融合， bα和bβ是偏 差值， 这些矩阵和偏差值{Wβ,Wβ′,Wα,bα,bβ}∈θc是可学习参数， 注意力权重αr,r′捕捉特征图 和 所代表的区域r和r ′之间的相关性， 最后生成的计算过权重的向量cr包含了 基于 自身的和它的相邻内容的特 征。 6.根据权利要求2所述的基于多层和区域特征融合的航拍遥感图像识别方法， 其特征 在于， 步骤(2.7)中采用交叉熵损失： 其中， M为类别的数量， yic为符号函数(0或1),若样本i的真实类别为c则取1， 否则取0， pic为观测样本i属于类别c的预测概率， N为样本个数， Li为第i个样本的损失， L为所有样本 的平均损失。 7.根据权利要求1所述的基于多层和区域特征融合的航拍遥感图像识别方法， 其特征 在于， 步骤(3)具体包括以下步骤： 步骤(3.1)将测试图像送入网络模型中； 步骤(3.2)通过Resent ‑50骨干网络进行 特征提取， 获得 特征图； 步骤(3.3)采用步骤(2)改进的带有注意力权 重的多层融合网络进行 特征图的融合； 步骤(3.4)采用步骤(2)改进的区域特征融合模块， 进行兴趣区域提取和区域特征融权　利　要　求　书 2/3 页 3 CN 114882352 A 3