(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210192733.4 (22)申请日 2022.03.01 (71)申请人 安徽理工大 学 地址 232001 安徽省淮南市田家庵区舜耕 中路168号 (72)发明人 贾晓芬　梁镇洹　郭永存　黄友锐　 赵佰亭　马天兵　 (74)专利代理 机构 西安知诚思 迈知识产权代理 事务所(普通 合伙) 61237 专利代理师 闵媛媛 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/54(2022.01) (54)发明名称 单幅图像的仿生鹰眼多尺度融合超分辨率 重建模型、 方法、 设备及存 储介质 (57)摘要 本发明公开了一种单幅图像的仿生鹰眼多 尺度融合超分辨率重建模型、 方法、 设备及存储 介质， 重建模型包括仿鹰眼特征提取模块、 反馈 模块、 多尺度重建模块， 仿鹰眼特征提取模块用 于仿照鹰双眼从三方向提取低分辨率图像的浅 层特征， 对提取的浅层特征信息进行融合提炼； 反馈模块包括注意力机制层和反馈层， 通过注意 力机制层实现跨信道的信息交互， 挖掘仿鹰眼特 征提取模块提取的有效特征； 多尺度重建模块用 于通过不同卷积提取深层特征的互补信息， 通过 空洞卷积进行初步重建， 经深层重建并与低分辨 率图像的上采样图像融合获得高分辨率的重建 图像。 本发明重建的图像清晰度高， 边缘纹理细 节丰富， 在保证图像清晰度的同时能丰富图片的 内容。 权利要求书2页 说明书12页 附图4页 CN 114549325 A 2022.05.27 CN 114549325 A 1.一种单幅图像的仿生鹰眼多尺度融合超分辨 率重建模型， 其特 征在于， 包括 仿鹰眼特征提取模块， 用于仿照鹰双眼从三方向提取低分辨率图像的浅层特征， 基于 左、 右眼视场交叉融合的原理， 对提取的浅层特 征信息进行融合 提炼； 反馈模块， 所述反馈模块包括注意力机制层和反馈层， 通过注意力机制层实现跨信道 的信息交互， 挖掘仿鹰眼特征提取模块提取的有效特征， 剔除冗余信息； 通过反馈层 对特征 进行深层提取， 将提取的深层特 征传送至多尺度重建模块； 多尺度重建模块， 用于通过不同卷积提取深层特征的互补信 息， 通过卷积核大小相同、 扩张率不同的空洞卷积进 行初步重 建， 初步重 建的图像经深层重建 并与低分辨率图像的上 采样图像融合获得高分辨 率的重建图像。 2.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型， 其特 征在于， 所述仿鹰眼特征提取模块仿照鹰左右眼正中央凹成像原理分别建立第1和第5支 路， 仿照鹰双眼侧中央凹成像原理分别建立第2和第4支路， 仿照鹰双眼侧中央凹识别的前 侧图像融合原理建立第3支路； 第1和第5支路， 用于对低分辨率图像依次经过2层3 ×3卷积、 1层1 ×1卷积和1层5 ×5卷 积获得浅层特 征； 第2和第4支路， 用于对低分辨率图像依次经过2层3 ×3卷积、 1层1 ×1卷积和1层3 ×3卷 积获得浅层特 征； 第3支路， 用于对低分辨 率图像经 过1层3×3卷积获得浅层特 征。 3.根据权利要求2所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型， 其特 征在于， 所述仿鹰眼特征提取模块通过前馈连接方式融合所有浅层特征信息， 通过空洞率 不同的空洞卷积层充分挖掘有效特 征。 4.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型， 其特 征在于， 所述注意力机制层在不降低 维数的通道级全局平均池化下， 通过自适应确定信道 间的交互范围， 利用一 维卷积得到注 意力信息并将其保存在信道， 使用Sigmoid函数得到通 道权重， 将仿鹰眼特征提取模块的输出与对应的权重系 数相乘得到注意力特征图， 用于剔 除仿鹰眼特 征提取模块的输出中包 含的重叠信息。 5.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型， 其特 征在于， 所述反馈层由多层组成， 后一反馈层接 收前一反馈层的信息以及注意力机制层输 出的特征图， 完成低分辨 率图像中深层次特 征的提取。 6.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型， 其特 征在于， 所述多尺度重建模块包括特 征映射层和多尺度重建层； 所述特征映射层通过反卷积将反馈模块输出中的ILR特征映射到IHR特征， ILR表示低分 辨率图像， IHR表示高分辨 率图像； 所述多尺度重建层通过三个卷积核大小为3 ×3， 扩张率分别为1、 2、 4的空洞卷积并联 的方式对IHR特征进行基本的重建， 扩张率为1的空洞卷积用于 突出图像的边缘纹理信息， 另 两个空洞卷积用于保证重 建图像轮廓的清晰； 三个空洞卷积层的输出通过融合后经1 ×1卷 积层进行通道数的变换， 得到初步重建图像； 初步重建图像经3 ×3卷积层进行深层次的重建， 丰富图像的细节信息； 最后将3 ×3卷 积层的输出与上采样的结果融合得到最终的重建图像。权　利　要　求　书 1/2 页 2 CN 114549325 A 27.一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型的重建方法， 其特征在于， 按照以下步骤进行： S1、 将低分辨率图像输入仿鹰眼特征提取模块， 仿鹰眼特征提取模块提取特征的方法 按照以下公式进行： L1＝L5＝C5×5(C1×1(C3×3(C3×3(ILR))))； L3＝C3×3(ILR)； L2＝L4＝C3×3(C1×1(C3×3(C3×3(ILR))))； 其中， Ln,n＝1,…,5代表第n条支路的输出， Cm×m表示大小为m ×m(m∈{1,3,5})的卷积 核， 表示卷积核大小为3 ×3、 空洞率为p(p∈{3,4})的空洞卷积， [ ]表示级联操作， Loutput3表示空洞率 为3的3×3卷积核的输出， Loutput4为仿鹰眼特 征提取模块的输出； S2、 将仿鹰眼特 征提取模块的输出送入反馈模块， 按照以下公式进行深层特 征提取： N＝fSigmoid(C1DK(GAP(Loutput4))) Loutput5＝Loutput4·N 其中， C1DK表示一维卷积， K表示一维卷积的输入层F与注意力权值N0之间的交互范围， GAP表示通道级全局平均池化， fSigmoid表示Sigmoid激活操作， N表示通道权重； ·表示通道 权重与仿鹰眼特征提取模块输出的相乘， t表示反馈层的层数， t＝1,2,3,4； fFB表示反馈操 作， 代表第t反馈层的输出， 代表第t‑1反馈层的输出， 当t＝1时， 表示注意力 机制层的输出进入反馈层； S3、 将反馈模块的输出送入多尺度重建模块， 通过三个不同大小的空洞卷积核并联方 式完成基本 重建， 基本 重建的图像经 过深层次重建得到多尺度重建模块的输出； S4、 将多尺度重建模块的输出和低分辨率图像的上采样图像相加融合， 即可得到重建 的高清图像ISR。 8.根据权利要求7所述一种单 幅图像的仿生鹰眼多尺度融合超分辨率重建模型的重建 方法， 其特 征在于， 所述 步骤S3中， 多尺度重建模块按照以下公式进行图像重建： 其中， Loutput表示多尺度重建模块的输出， DC表示反卷积操作， {}表示相加融合， fReLU表 示ReLU激活操作， 表示卷积核大小为3 ×3、 空洞率 为p(p∈{2,4})的空洞卷积。 9.一种电子设备， 其特 征在于， 采用如权利要求7 ‑8任一项所述的方法实现图像重建。 10.一种计算机存储介质， 其特征在于， 所述存储介质中存储有至少一条程序指令， 所 述至少一条程序指 令被处理器加载并执行以实现如权利要求7 ‑8任一项所述的图像重 建方 法。权　利　要　求　书 2/2 页 3 CN 114549325 A 3