(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211159222.9 (22)申请日 2022.09.22 (71)申请人 桂林理工大 学 地址 541004 广西壮 族自治区桂林市七 星 区建干路12号 (72)发明人 闫志恒　邵红娟　任超　李毅　 尹安超　张胜国　刘启睿　 (74)专利代理 机构 桂林文必达专利代理事务所 (特殊普通 合伙) 45134 专利代理师 张学平 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合多注意力的高分辨率遥感影像道 路提取方法 (57)摘要 本发明涉及遥感图像处理技术领域， 具体涉 及一种融合多注意力的高分辨率遥感影像道路 提取方法， 基于膨胀残差协同注意力网络， 同时 结合空洞卷积模块， 提取更高维的道路特征信 息； 在U型结构 的跳跃连接部分使用轻量自注意 力模块， 捕获特征信息的长距离依赖关系； 面向 通道的交叉注 意力模块， 消除自注 意力机制模块 与解码器特征的歧义， 提高特征图还原能力； 最 后使用训练权重对未标记遥感影像进行预测， 计 算熵值， 使用高熵值预测结果为未标注影像打上 标签， 和原始标签混合输入到训练网络。 本发明 经过融合多注 意力的深度学习道路提取方法， 有 效建立道路长距离通道与位置信息关系， 提高了 道路提取的效率。 权利要求书1页 说明书5页 附图4页 CN 115439751 A 2022.12.06 CN 115439751 A 1.一种融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 包括下列步骤： 基于膨胀残差协同注意力神经网络， 以编码器解码器 体系结构作为基础网络模型； 预处理输入数据， 结合空洞卷积模块， 提取高维的道路特 征信息； 使用轻量自注意力模块， 捕获特 征信息的长距离依赖关系； 加入面向通道的交叉注意力模块， 训练模型至收敛； 利用训练得到的权 重， 对未标注影像进行道路预测。 2.如权利要求1所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 基于膨胀残差协同注意力神经网络， 以编码器解码器体系结构作为基础网络模型的过 程， 具体为搭建高分影像道路提取网络MAG ‑Unet， 编码器部分采用改进膨胀ResNet101， 第 一层部分使用卷积替换最大池化， 前三个残差结构与ResNet101保持一致， 在每一个残差块 的第一个3*3卷积后加入协同注 意力分支， 在第四次下采样的卷积过程中， 将膨胀系数改成 2， 输出特征图的尺寸和上一层保持一 致。 3.如权利要求1所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 预处理输入数据的过程， 包括裁剪和数据增强， 其中采用尺寸为256的滑动窗口裁剪影 像， 数据增强包括上下左右翻转， 随机旋转以及尺度缩放， 然后以256*256*3的样式输入网 络。 4.如权利要求3所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 预处理输入数据划分训练集和验证集， 其中验证集用于对卷积神经网络的训练分割准 确度进行验证， 训练集用于对卷积神经网络的训练进行参数调整， 训练集和验证集的比例 为8： 2。 5.如权利要求1所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 结合空洞卷积模块， 具体为在最后一层输入空洞空间金字塔， 分别输入一个1*1卷积和 三个3*3卷积， 分别采用1， 2， 4， 8扩张率的卷积， 将经过不同扩张率四层特征图进行拼接输 入到卷积核为1的卷积中， 进行通道调整。 6.如权利要求2所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 加入面向通道的交叉注意力模块的过程， 具体为解码网络通过线性插值上采样操作逐 步恢复原 始图像尺寸， 每层上采样模块 最后加入面向通道的交叉注意力模块。 7.如权利要求6所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 在训练模型至收敛的过程中， 通过训练损 失与验证损 失确定网络是否达到收敛， 收敛 则停止训练， 获得训练后的MAG ‑Unet分割模型， 将测试集输入至训练后的MAG ‑Unet分割模 型， 输出分割结果。 8.如权利要求7 所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 在利用训练得到的权重， 对未标注影像进行道路预测的过程中， 根据像素熵值给预测 结果打标签， 混合原 始标签输入网络进行训练。 9.如权利要求8所述的融合多注意力的高分辨 率遥感影 像道路提取 方法， 其特 征在于， 给预测结果打标签的过程， 具体为利用像素熵值计算判断输出结果的可靠性， 对高熵 值部分打上标签， 对预测输出 标签进行剪切， 与原 始标签混合后的数据增强。权　利　要　求　书 1/1 页 2 CN 115439751 A 2一种融合多注意力的高分辨 率遥感影像道路提取方 法 技术领域 [0001]本发明涉及遥感图像处理技术领域， 具体涉及一种融合多注意力的高分辨率遥感 影像道路提取 方法。 背景技术 [0002]遥感影像道 路自动提取在城市规划、 地理参考、 智能交通导航、 地理空间数据集成 和智能交通系统中起着重要作用。 然而， 由于遥感影像中存在的噪声、 遮挡和道路结构的复 杂性， 使得道路自动提取极具挑战性。 传统的道路提取方法包括支持向量机， 数学形态学方 法， 模板匹配等方法， 对于少量遥感数据信息提取容易取得良好的提取效果。 随着深度学习 技术在实际生产生活中的广泛应用， 在 海量的遥感数据中快速高效的提取遥感影像信息具 有重要指导 价值。 [0003]基于深度学习的遥感影像道 路提取方法提高了道 路提取的效率， 但无法同时兼顾 通道间的信息与位置信息。 尽管后来的注意力机制尝试在降低通道数后通过卷积来提取位 置注意力信息， 但卷积感受野受限， 缺乏对长距离特征信息的利用， 同时深度学习需要大量 的标签数据的支持， 需要耗费大量人工进行 标注。 发明内容 [0004]本发明的目的在于提供一种融合多注意力的高分辨率遥感影像道 路提取方法， 旨 在融合多注意力机制， 建立道路长距离通道与位置信息 关系， 恢复道路的细节信息， 改进现 有的遥感影 像道路提取 方法， 提高道路提取的效率。 [0005]为实现上述目的， 本发明提供了一种融合多注意力的高分辨率遥感影像道 路提取 方法， 包括下列步骤： [0006]基于膨胀残差协同注意力神经网络， 以编码器解码器体系结构作为基础网络模 型； [0007]预处理输入数据， 结合空洞卷积模块， 提取高维的道路特 征信息； [0008]使用轻量自注意力模块， 捕获特 征信息的长距离依赖关系； [0009]加入面向通道的交叉注意力模块， 训练模型至收敛； [0010]利用训练得到的权 重， 对未标注影像进行道路预测。 [0011]其中， 基于膨胀残差协同注意力神经网络， 以编码器解码器体系结构作为基础网 络模型； [0012]预处理输入数据， 结合空洞卷积模块， 提取高维的道路特 征信息； [0013]使用轻量自注意力模块， 捕获特 征信息的长距离依赖关系； [0014]加入面向通道的交叉注意力模块， 训练模型至收敛； [0015]利用训练得到的权 重， 对未标注影像进行道路预测。 [0016]其中， 预处理输入数据的过程， 包括裁剪和 数据增强， 其中采用尺寸为256的滑动 窗口裁剪影像， 数据增强包括上下左右翻转， 随机旋转以及尺度缩放， 然后以256*256*3的说　明　书 1/5 页 3 CN 115439751 A 3