(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161558.9 (22)申请日 2022.09.23 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 熊炫睿　林为琴　陈怡　张宇樊　 徐稳　方海领　 (51)Int.Cl. G06V 20/13(2022.01) G06V 20/10(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于卷积神经网络和注意力机制的高光谱 图像分类方法 (57)摘要 本发明属于图像 分类领域， 涉及基于卷积神 经网络和注 意力机制的高光谱图像 分类方法。 该 方法包括以下步骤： S1)将所用的数据进行预处 理； S2)采用3DCNN提出数据的光谱空间联合特 征； S3)将联合特征输入到注意力插件模块； S4) 将带有注意力权重的特征图输入到2DCNN模块进 一步细化空间特征； S5)提取到的特征图通过 Softmax分类层进行分类。 提出一种基于卷积神 经网络和注 意力机制的高光谱图像 分类方法， 该 方法根据高光谱图像数据具有 “图谱合一 ”的特 性， 从不同角度充分提取特征信息， 相对于传统 的高光谱图像分类方法具有更优的分类性能。 权利要求书2页 说明书5页 附图2页 CN 115471757 A 2022.12.13 CN 115471757 A 1.基于空时特 征和注意力机制的入侵检测方法， 其特 征在于： 该 方法包括以下步骤： S1)通过3DCN N提取输入数据的光谱空间联合特 征； S2)通过注意力模块抑制不必要的特 征； S3)通过2DCN N进一步提取空间特 征； S4)通过Softmax分类模块进行分类。 2.根据权利要求1所述的基于卷积神经网络和注意力机制的高光谱图像分类方法， 其 特征在于： 所述 步骤S1中， 提取光谱空间联合特 征包括以下步骤： 步骤S11)调整了CNN的网络结构以构 建多尺度卷积神经网络。 在3DCNN模块中利用大小 不同的多个卷积核来提取特征映射， 并将他们 结合起来得到多组局部特征， 从而提取多尺 度特征。 3DCNN模块采用了三个卷积层， 第一个卷积层采用了8个3 ×3×7的卷积核， 第二层 分别采用了16个1 ×1×1,16个3×3×3和16个5 ×5×5的卷积核， 对 特征图进行不同尺 寸大 小的特征提取， 第三层卷积层分别使用32个3 ×3×3， 32个3×3×3， 32个3×3×3的卷积核， 再将三个分支的结果融合起来。 通过多分支叠加可以有效增加网络的宽度， 这些不同尺寸 大小的卷积核 可以有效的提取多个尺度的特征信息， 提取的特征信息比其单一卷积分支层 更加全面。 步骤S12)设置参数。 第一个卷积层设置步长大小stride＝1， 设置p adding＝0， 第二个 卷积层和第三个卷积层中， 所有的卷积核步长大小设为stride＝1， 设置padding＝same， 这 样设置的目的是为了让每个分支的网络输出特征图大小相同， 便于后 期直接将每个尺度大 小的特征进行合并。 在三 维卷积层中， 第i层的第 j个特征图中空间位置(x,y,z)处的激活值 表示为 如下所示： 其中F是一个激活函数， dl‑1是第l‑1层的三维特征图数量， wi,j是第i层第j个特征图的 权重参数， bi,j是第i层第j个特征图的偏差参数， 2 δ +1， 2 λ+1和2v+1是卷积核的高度、 宽度和 深度。 3.根据权利要求1所述的基于卷积神经网络和注意力机制的高光谱图像分类方法， 其 特征在于： 所述步骤S2中， 结合光谱时间联合特征， 使用注意力模块进 行特征提取包括以下 步骤： 步骤S21)在三维卷积块后使用注意力模块， 该模块具有通用性和端到端 的可训练性， 可直接插入到三维卷积块和 二维卷积块中间。 使用通道注意力机制， 赋予特征图通道不同 的比重， 细化特征图， 通过捕捉特征的通道关系来减少通道冗余并构建通道注 意图。 特征图 X同时执行通道维的三维最大池化和三维平均池化操作， 然后送入由两个全连接层组成的 共享网络中， 得到的特征对应元素逐个相加， 再经过sigmoid激活函数激活， 得到最终的通 道注意力MC。 通道注意力计算如下： MC＝σ(FC(Max_po ol(X))+FC(Avg_po ol(X))) 其中σ 表示sigmoid激活函数， Max_pool表示最大池化操作， Avg_pool表示平均池化操 作。 步骤S22)为了抑制干扰像素的影响， 引入自注意力机制构建空间注意力模块， 利用像 素之间的相关性来获取注意区域 并捕获空间注意特征。 空间注意力模块的输入XC是通道细权　利　要　求　书 1/2 页 2 CN 115471757 A 2化后的特 征图， 由以下的公式计算得到： 其中 为对应元 素相乘， 结果的大小和最 开始的输入一样。 1.输入XC分别和三个1 ×1卷积核进行卷积操作， 生成特 征图： f(XC),g(XC),h(XC)； 2.f(XC)和g(XC)点积运算计算不同像素间的相似性； 3.对自相关特 征R进行Softmax 归一化处理得到注意力权 重； 4.注意力权 重与特征图逐像素相乘生成空间注意力。 注意力权 重与特征图h(XC)逐像素相乘生成空间注意力MS。 步骤S23)两个注意力模块的输出图Y为： 4.根据权利要求1所述的基于卷积神经网络和注意力机制的高光谱图像分类方法， 其 特征在于： 所述 步骤S3中， 使用2DCN N模块进行空间特 征提取包括以下步骤： 步骤S31)在提取到光谱空间特征之后， 再用一个二维卷积层去提取不同光谱波段内的 空间信息， 采用64个3 ×3的2DCNN卷积核。 在二维卷积中， 第i层的第j个特征图中空间位置 (x,y)处的激活值表示 为 如下所示： 5.根据权利要求1所述的基于卷积神经网络和注意力机制的高光谱图像分类方法， 其 特征在于： 所述 步骤S4中， 使用Softmax 模块进行分类包括以下步骤： 步骤S4)将模型Softmax层 预测的数据结果与真实的数据标签记进行对照， 将预测误差 损失值实时记录并反馈给模型， 通过多轮次的数据迭代训练， 不断优化更新网络节点的权 值与偏置， 使最 终分类结果更加接近真实标签， 在完成上述参数训练后， 对测试数据进行决 策响应。权　利　要　求　书 2/2 页 3 CN 115471757 A 3