(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476213.6 (22)申请日 2022.04.29 (71)申请人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 翁理国　鲁晨　夏旻　胡凯　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陆志斌 (51)Int.Cl. G06V 20/70(2022.01) G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双分支融合网络的遥感图像云和 云影分割方法 (57)摘要 本发明公开了一种基于双分支融合网络的 遥感图 像 云 和云 影 分 割方 法 ， 该 方 法以 Convolutional  vision Transformer中的 Transformer模块和条状卷积作为骨干网络， 将 两者有效结合， 使得两个分支能够相互补充， 从 而更加高效地提取图像中的特征信息。 在特征融 合方面， 使用了相互引导模块使得Transformer 分支和条状卷积分支能够相互引导对方进行特 征挖掘、 提取多尺度上下文信息， 提高了不同尺 度的云和云影的分割能力。 在解码阶段， 充分利 用两分支提取到的不同层级的特征进行融合上 采样， 有效融合高级语义信息和空间位置信息， 使得云和云影的定位更加准确， 分割边界更加详 细； 同时本方法还是通用的。 权利要求书2页 说明书8页 附图4页 CN 114943963 A 2022.08.26 CN 114943963 A 1.一种基于双分支融合网络的遥感图像云和云影分割方法， 其特征在于， 包括如下步 骤： S1、 获取数据集， 所述数据集包括训练集和验证集； S2、 建立Transformer分支和卷积分支网络模型， 并将图像数据输入模型中， 通过多次 下采样获得遥感图像的不同尺度的特 征信息， 为特 征融合做准备； S3、 利用双向引导模块引导Transformer分支和卷积分支进行 特征提取； S4、 在解码阶段， 通过解码模块修复像素定位， 充分利用两分支提取到的不同层级的特 征进行融合上采样； S5、 不断迭代训练模型， 进行精准度测试， 直至模型达 到预想效果。 2.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法， 其 特征在于， 所述 步骤S1具体包括如下步骤： S1.1、 从Landsat ‑8号卫星和Senti nel‑2号卫星上获取高清遥感图像； S1.2、 对遥感图像进行裁 剪； S1.3、 对裁剪完成的图像进行标注， 使用Labelme对裁剪完成的图片进行人工掩膜标 注， 标注类型为 三类： 云、 云影和背景； S1.4、 划分数据集， 将上述得到的图片按4∶1进行划分， 即将80％作为训练集， 20％作为 验证集。 3.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法， 其 特征在于， 所述步骤S2的网络模型为双分支融合网络模型， 由编码阶段和解码阶段两部分 组成； 在编码阶段， 使用Transformer和卷积网络相互引导的双支路结构去提取不同层 级的 特征， 融合全局特征和局 部特征； 在解码阶段， 利用Tr ansformer分支和条状卷积分支提取 到的不同层级的语义信息和空间信息进行上采样， 融合高级语义信息和空间位置信息， 实 现云和云影的精准定位和精细分割。 4.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法， 其 特征在于， Transformer分支的表达式如下： T1＝Convembed(di) T2＝MHA{Flatten[Convproj(T1)+di]} 其中， di表示Transformer分支第i层的输入矩阵(i＝0,1,2,3,4)， x0表示输入到模型的 矩阵， 和 分别表示表示Transformer分支的第i层和第 i+1层的输出矩阵， 表示卷 积分支的第i层输出经过多级池化后的特征图， Convembed(·)表示卷积嵌入层， Convproj(·) 表示卷积投影层， Flatten( ·)表示将二维数据展开成一维数据， MHA( ·)表示多头注意力 层， Norm(·)表示层归一化， MLP( ·)表示多层感知机， Reshape( ·)表示将一维数据变为二 维数据。权　利　要　求　书 1/2 页 2 CN 114943963 A 25.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法， 其 特征在于， 条状卷积分支的表达式如下： C1＝ δ{norm[Conv1×3(ei)]} C2＝ δ{norm[Conv3×1(C1)]} C3＝Maxpooling(C2) 上式中， ei表示条状卷积分支第i层的输入(i ＝0,1,2,3,4)， x0表示输入的原 始图像， 和 分别表示表示条状卷积分支的第i层和第i+1层的输出， 表示Trans former分支的 第i层经过双线性插值上采样成为同相同大小的特征图， δ( ·)表示激活函数RELU， norm (·)表示BatchNorm， Conv1×3(·)和Conv3×1(·)分别表示卷积核大小为和的条状卷积， Maxpooling(·)表示最大池化层。 6.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法， 其 特征在于， 解码阶段的具体操作如下： Di＝Upsample{ δ[ DWConv(Mi)]},i＝1,2,3,4 上式中， 和 分别表示Transformer分支和卷积分支第i层的输出， Di表示解码器第i 层的输出， Upsample( ·)表示双线性插值上采样， δ( ·)表示记过函数GELU， DWConv( ·)表 示深度可分离卷积， Co ncat(·)表示拼接操作。 7.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法， 其 特征在于， 所述 步骤S5的具体训练过程如下： S5.1、 将做好数据集进行挑选， 将全图为背景的进行剔除， 然后将训练集和验证集按照 8∶2进行分拣， 检测结果图像中的每个像素代表了输入图像的对应像素在本次训练过程中 的检测结果， 若该像素被网络判断为云， 则检测结果中的对应位置像素为[128,0,0]， 若该 像素被判断为云影， 则对应位置像素为[0,128,0],否则为[0,0,0]； S5.2、 设置一次训练所选取的样本数为3、 最大迭代次数为3 00、 学习率 为0.001； S5.3、 进行网络模型训练， 在输入原始遥感图像时， 正向传播计算得到当前网络的输出 图片， 利用交叉熵损失函数， 计算输出图片与人工标注标签之 间的误差， 利用链式法则将这 个误差反向传播到网络中， 在反向传播的过程中， 使用Adam优化器进对网络的参数进行更 新， 完成一轮学习； 当训练 次数达到预设阈值 或测试的准确度达到目标数值后， 表明所搭建 的网络模型已经符合要求。权　利　要　求　书 2/2 页 3 CN 114943963 A 3