(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221048708 8.9 (22)申请日 2022.05.06 (71)申请人 南京审计大 学 地址 210000 江苏省南京市雨 山西路86号 (72)发明人 周峰　徐超　 (74)专利代理 机构 南京创略知识产权代理事务 所(普通合伙) 32358 专利代理师 刘文艳 (51)Int.Cl. G06V 10/764(2022.01) G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/58(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向土地资源审计的自互注意力高光 谱图像分类方法 (57)摘要 本发明公开了一种面向土地资源审计的自 互注意力高光谱图像分类方法， 首先构建自互注 意力网络， 针对高光谱图像中的每个像素点， 利 用自互注意力网络中的光谱特征模块和空间特 征模块提取对应的光谱向量和局部领域， 再输出 至自互注 意力模块， 接着利用自互注 意力模块使 用互注意力机制明确地建模光谱和空间域之间 的相互关系； 本发明实现了借助互注 意力机制实 现特征交互， 以此突出光谱和空间域的相关性， 并在每个域中使用自注意力学习长距离依赖关 系， 接着在空间和光谱域的两个分类结果上应用 加权求和， 得到联合分类结果， 该自互注意力网 络能够获得优于最新先进 方法的分类性能， 适合 被广泛推广和使用。 权利要求书3页 说明书10页 附图3页 CN 114863173 A 2022.08.05 CN 114863173 A 1.一种面向土地资源审计的自互注意力高光谱图像分类方法， 其特征在于： 包括以下 步骤， 步骤(A)， 构建自互注意力网络， 用于对土地资源审计过程中的高光谱图像进行分类； 步骤(B)， 针对高光谱图像 中的每个像素点， 利用自互注意力网络 中的光谱特征模块和 空间特征模块提取对应的光谱向量和 局部领域， 再输出至自互注意力模块； 步骤(C)， 利用自互注意力模块使用互注意力机制明确地建模光谱和空间域之间的相 互关系， 并同时使用自注意力捕获各个域内的长距离依赖关系， 完成对光谱和空间特征 的 增强； 步骤(D)， 使用增强的光谱和空间特征分别得到对应的分类结果， 并使用加权求和的方 式融合二者， 完成土地资源审计过程中 高光谱图像的分类作业。 2.根据权利要求1所述的一种面向土地资源审计的自互注意力 高光谱图像分类方法， 其特征在于： 步骤(A)， 构建自互注意力网络， 用于对土地资源审计过程中的高光谱图像进 行分类， 其中 自互注意力网络包括光谱 特征模块、 空间特征模块和自互注意力模块； 所述光 谱特征模块的基础单元包括一维卷积层、 一维批量归一化层、 ReLU函数和一维最大值池化 层， 所述空间特 征模块的基础单 元是光谱特 征模块基础单 元的二维版本 。 3.根据权利要求2所述的一种面向土地资源审计的自互注意力 高光谱图像分类方法， 其特征在于： 步骤(B)， 针对高光谱图像中的每个像素点， 利用自互注意力网络中的光谱特 征模块和空间特征模块提取对应的光谱向量和局部领域， 再输出至自互注意力模块， 其具 体步骤如下， 步骤(B1)， 设定一个在高光谱图像中位置为(i,j)的像素点x， 再生成对应的光谱向量 和局部图像块， 其具体生成步骤如下； 步骤(B11)， 光谱向量， 其能直接从高光谱图像中提取， 记作 且B代表高光谱图 像的波段个数； 步骤(B12)， 局部图像块， 以像素点x为中心的局部图像块是由高光谱图像的前三个主 成分裁剪得到的， 定义 为 其中N×N是图像块的空间尺寸； 步骤(B2)， 光谱特征模块用于从光谱向量Z中提取光谱初始 特征Fse； 空间特征模块用于 将局部图像块X转换为 一个256个通道的特 征图Fsa， 且空间尺寸 为 步骤(B3)， 将光谱初始特 征Fse和特征图Fsa一起输出至自互注意力模块。 4.根据权利要求3所述的一种面向土地资源审计的自互注意力 高光谱图像分类方法， 其特征在于： 步骤(C)， 利用自互注意力模块使用互注 意力机制明确地建模光谱和空间域之 间的相互关系， 并同时使用自注意力捕获各个域内的长距离依赖关系， 完成对光谱和空间 特征的增强， 其中自互注意力模块能对输入的光谱初始特征Fse和特征图Fsa进行处理并得 到增强光谱特 征Ese和增强空间特 征Esa， 具体步骤如下， 步骤(C1)， 设已经获得了通道数为256的光谱初始特征 和通道数为256的 空间图 再通过使用非线性函数将它们分别映射成三个 单独的表征， 其中 非线性函数由一层一 维/二维卷积层、 一层一维/二 维批量归一化层、 以及ReLU函数构成； 光权　利　要　求　书 1/3 页 2 CN 114863173 A 2谱域的表征定义为维度为 的Qse、 Kse和Vse， 而空间域能得到维度为 的 表征Qsa、 Ksa和Vsa； 与此同时， Fse和Fsa会映射到同一个空间， 再将其融合得到融合特征 如公式 (1)所示， Ff＝tanh(FC(GAP1d(Fse))⊙FC(GAP2d(Fsa)))    (1) 其中， GAP1d和GAP2d分别表示一维和二维的全局平均池化操作， FC代表全连接层， “⊙” 表示Hadamard乘积， tanh为双曲正切函数； 步骤(C2)， 推理出光谱 域的光谱互注意力图 其中光谱互注意力图Mse编码了 光谱和空间域的相互关系， Mse如公式(2)所示， 其中， 表示矩阵乘法， softmax操作将映射 转为概率值； 步骤(C3)， Mse还用于生成第一 光谱特征 如公式(3)所示， 步骤(C4)， 使用自注意力将长距离依赖关系编码进光谱特征， 并得到光谱自注意力图 如公式(4)所示， 步骤(C5)， Sse与Vse相乘， 生成另一个第二 光谱特征 如公式(5)所示， 其中， Flat ten操作将矩阵延展成向量； 步 骤 ( C 6 ) ， 通 过 堆 叠 Es e 1和 Es e 2能 获 得 最 终 的 增 强 光 谱 特 征 步骤(C7)， 基于增强光谱特征Ese的处理过程， 利用公式(2)和公式(4)得到空间自注意 力图 和空间互注意力图 其中将公式中的Qse和Kse替换为Qsa和 Ksa； 步骤(C8)， 将空间自注意力图Ssa和空间互注意力图Msa与Vsa相乘， 得到第一空间特征 和第二空间特征 再将这两 个空间特征进行堆叠， 得到最终的增 强空间特 征 5.根据权利要求4所述的一种面向土地资源审计的自互注意力 高光谱图像分类方法， 其特征在于： 步骤(D)， 使用增强的光谱和空间特征分别得到对应的分类结果， 并使用加权 求和的方式融合二者， 完成土地资源审计过程中高光谱图像的分类作业， 具体是增强光谱 特征Ese和增强空间特征Esa分别用于生成对应的分类结果 和 其中C是权　利　要　求　书 2/3 页 3 CN 114863173 A 3