(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221045783 3.5 (22)申请日 2022.04.28 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 白相志　梁尚英　 (74)专利代理 机构 北京慧泉知识产权代理有限 公司 11232 专利代理师 王顺荣　唐爱华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种可解释边缘注意力和灰度量化网络的 红外语义分割方法 (57)摘要 本发明公开一种可解释边缘注意力和灰度 量化网络的红外语义分割方法， 基本步骤如下： 1)利用卷积神经网络提取多级语义特征和边缘 特征； 2)利用边缘注意力金字塔对各级语义特征 进行边缘融合； 3)利用灰度量化网络对初步 分割 结果进行纹理修正； 4)构造边缘和纹理损失函数 进行协同训练； 5)用训练好的红外语义 分割模型 处理热红外图像。 本发明基于卷积神经网络构造 可解释网络模块， 通过以注意力机制和多尺度结 构为基础的边缘注意力金字塔融合边缘语义特 征， 并利用灰度量化网络引入灰度空间分布信息 以修正纹理细节。 本发明可与各类基于热红外图 像和语义分割的应用系统相结合， 帮助提升红外 场景解析能力， 具有广阔市场前 景与应用价 值。 权利要求书3页 说明书9页 附图6页 CN 114972748 A 2022.08.30 CN 114972748 A 1.一种可解释边缘注意力和灰度量化网络的红外语义分割方法， 其特征在于， 该方法 具体步骤如下： 步骤一： 利用卷积神经网络ResNet 101提取多级语义特征图和边缘特征图； 首先使用残 差网络ResNet101作为特征提取网络， 对输入图像进 行多级语义特征提取； 再将第一残差层 和第三残差层输出 的语义特征进行拼接； 随后对拼接特征进行卷积和上采样处理， 得到与 输入图像大小相同的边 缘特征图； 步骤二： 利用边缘注意力金字塔对各级语义特征进行边缘融合； 利用公式化推导构造 可解释的边缘注意力模块， 实现在空间和通道上有效增强边缘信息关注程度； 采用边缘注 意力模块分别对特征提取网络第一到第四残差层语义特征图与边缘特征图依次融合； 对特 征提取网络第五残差层语义特征图使用平均池化操作获取全局语义信息； 对各级边缘融合 特征与池化层输出特征进行拼接， 并利用分割头对拼接特征图进行解析， 获得初步分割 结 果； 步骤三： 利用灰度量化网络对初步分割结果进行纹理细节修正； 计算热红外 图像的灰 度直方图以获取灰度空间分布信息； 采用可解释的量化映射模块对初步分割结果和热 红外 图像进行同步映射并计算量化概率以获取修正系 数， 进而弥补纹理细节； 再次利用分割头 对纹理修正图进行解析， 获取最终分割结果； 步骤四： 构造边 缘和纹理损失函数对红外语义分割模型进行协同训练； 输出： 用训练好的红外语义分割模型处理热红外 图像； 在使用训练数据对红外语义分 割模型进行充分迭代训练后， 得到训练好的模型用于分割待处 理的热红外图像。 2.根据权利要求1所述的一种可解释边缘注意力和灰度量化网络的红外语义分割方 法， 其特征在于： 在步骤二中， 具体如下： 2.1： 利用边缘注意力模块在空间和通道上融合各级语义特征和边缘特征； 可解释的公 式 化 推 导 过 程 如 下 ：首 先 根 据 语 义 特 征 获 取 注 意 力 图 A ，计 算 公 式 为 ： 其中Qu为语义特征经过卷积层 处理获得的特征图Q在位置u的特征 向量； Ki， u表示语义特征经过另一个卷积层处理的特征图K中与位置u具有相同行或列的特 征Ku的第i个元素， 是Ki， u的转置向量； di， u表示向量Qu与向量Ki， u的相关程度， 其结果D 经 过自然指数e的归一化映射后， 得到注意力图A； 其次， 为使 各级语义特征解析过程中在十字 方向更注重边缘， 利用卷积处理边缘特征图后获取边缘值图V， 再与注意力图A进行乘法聚 合操作： 从而得到边缘十字注意力特征图F， 其中Fu和Au分别表示特征 图F和A在位置u处的特征向量， h和w分别为特征图的高和宽， Vi， u为特征图V中与位置u具有 相同行或列的特征Vu的第i个元素； 最后引入通道注意力， 将特征图F依次输入全局平均池 化和两层全连接层， 归一化后得到各通道权重值并与原语义特征图对应通道二维矩阵相 乘， 从而使最终融合特征在空间和通道上同时增强对边缘信息的关注并削弱冗余信息的干 扰； 2.2： 利用金字塔结构进行多尺度特征拼接并获取初步分割结果； 将各级语义特征输入 边缘注意力模块以获取各级边缘融合特征图； 将特征提取网络第五残差层语义特征输入全 局平均池化层以获取全局特征图； 对各级边缘融合特征图和全局特征图进 行上采样以得到权　利　要　求　书 1/3 页 2 CN 114972748 A 2与输入图像大小相同的特征图， 再进 行通道拼接； 利用分割头中三层卷积解析拼接特征图， 获取初步分割结果。 3.根据权利要求1所述的一种可解释边缘注意力和灰度量化网络的红外语义分割方 法， 其特征在于： 在步骤三中， 具体如下： 3.1： 构造灰度直方图函数： 其中， x为待处理图像像素， 量化函数为 灰度间距为 N为量化等级， fmax和fmin分 别表示输入热红外图像的灰度最大值和最小值； 3.2： 量化映射模块进行纹理细节修正； 可解释的公式化推导过程如下： 首先将热红外 图像f和初步分割图m分别输入 卷积层以获取多通道图f ′和m′， 然后进行同步映射并计算概 率分布图： 其中Xu、 Yu、 f′u、 m′u分别表示对应图像在位置u的像 素值， HFn和片Mn分别表示多通道图f ′和m′中灰度等级为n的像素数， 而 表示多通道 图f′中灰度等级为P(f ′u)的像素数， 表示多通道图m ′中灰度等级为P(m ′u)的像素 数， P(f′u)和P(m′u)分别表示灰度直 方图函数对多通道图f ′和m′位置u处像素计 算得到的量 化结果； 其次， 计算映射概率分布图X和Y的相似系数： h和w分别为概 率图的高和宽， Xu和Yu分别表示X和Y在位置u的像素值， ‑α则表示遍历图X和Y所有位置像素 值所得的负均方差值； 依据相似系 数‑α， 计算修正图S＝e‑αY+(1‑e‑α)X； 当初步分割图的量 化概率分布越接近热 红外图像， 即纹理细节分类准确时， 相似系数越 大， 修正图越接近于初 步分割图； 反之， 相似系数越小， 修正图越接近于热红外图像， 从而弥补纹理灰度细节以作 修正， 具有较强的可解释性； 最后， 利用三层卷积结构的分割头对修正图进行解析， 得到最 终分割结果。 4.根据权利要求1所述的一种可解释边缘注意力和灰度量化网络的红外语义分割方 法， 其特征在于： 在步骤四中， 具体如下： 4.1： 构造边缘损失函数 用于约束边缘特征图与标签真值 边缘对齐； 其中， loss1为均方差损失函数， XE为标签真值经过拉普拉斯算子和归一化处理 所得的边缘真值， YE为特征提取网络所得边缘特征图， XEu和YEu为相应边缘图在位置u上的 像素值， h和w分别为图像高和宽； 4.2： 构造纹理损失函数 用于约束具体像素与真值对 齐， 但不考虑物体边界和真实边界之间的空间距离； 其中， loss2为交叉熵损失函数， C为像 素总数， K为语义类别总数， Tc， k表示分割头网络预测第c个像素为第k个类别的概率； 当真值 标签图中第c个 像素确实为第k个 类别时， Lc， k取值为1， 否则为0； 4.3： 最终损失函数为边缘和纹理联合约束： loss＝α loss1+β loss2； 其中， α和β 为约束系 数， 取值分别为 10和1； 训练过程中红外语义分割模型采用SGD优化器更新参数， 并通过梯度 反向传播调整模 型参数以降低损失， 初始学习率设为lr0＝5×10‑4， 后续学习率随迭代次数 ep动态调整为 最大迭代次数 ep_num＝20 0。 5.一种根据权利要求1所述的可解释边缘注意力和灰度量化网络的红外语义分割系权　利　要　求　书 2/3 页 3 CN 114972748 A 3