(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210410646.1 (22)申请日 2022.04.19 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 张亚新　赵志强　唐金龙　吕帅帅　 潘勉　于海滨　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于ECO-GAN的图像增强系统及方法 (57)摘要 一种基于ECO ‑GAN的图像增强系统及方法， 包括生成器网络和判别器网络， 生成器网络包括 生成器特征提取子模块和图像修复子模块， 在训 练阶段对输入 图像提取特征、 修复， 输出足以迷 惑判别器的生成样本； 判别器网络包括判别器特 征提取子模块和分类器， 在训练阶段对生成样本 的真伪做判别。 本发明利用深度学习算法对图像 进行增强， 算法高效、 实时性强， 通过重用特征提 取网络， 实现多种图像增强任务； 应用范围广， 基 于深度学习的图像增强算法， 依赖于成对数据训 练， 而不依赖于复杂多样 的各种物理知识； 并且 功能多样， 使用灵活。 权利要求书3页 说明书9页 附图4页 CN 114663678 A 2022.06.24 CN 114663678 A 1.一种基于 ECO‑GAN的图像增强系统， 其特 征在于， 包括 生成器网络和判别器网络： 所述的生成器网络包括生成器特征提取子模块和图像修复子模块， 在训练阶段对输入 图像提取特征、 修复， 输出足以迷惑判别器的生成样本； 所述的判别器网络包括判别器特征 提取子模块和分类 器， 在训练阶段对生成样本的真伪做判别； 所述的生成器特征提取子模块： 位于生成器网络的输入端， 采用一段级联的下采样卷 积神经网络， 用于从原图像中提取 特征； 所述的图像修复子模块： 位于生成器网络的输出端， 采用N段级联的上采样卷积神经网 络， 根据生成器特征提取子模块提取 的特征分别完成多种类型的增强任务， 输出生成样本 供判别器判别真伪； 所述的判别器特征提取子模块： 位于判别器网络的输入端， 采用一段级联的VGG19网 络， 对输入的真实图像和生成样本进行 特征提取； 所述的分类器： 位于判别器网络的输出端， 通过对比较生成样本与真实图像经过判别 器特征提取子模块的输出进行比较， 对生成样本的真伪做出判别。 2.根据权利要求1所述的一种基于ECO ‑GAN的图像增 强系统， 其特征在于， 所述的下采 样卷积神经网络和上采样卷积神经网络均采用ResNeSt网络模块， ResNeSt网络模块通过对 多通道分成多个分支， 逐分支处理其中通道间的注意力机制， 得到蕴藏在通道间的信息， 再 把多个分支融合 堆叠， 结合sk ip connection跳跃连接的形式， 缓解了梯度消失现象； 一段级联的下采样卷积神经网络和多段级联上采样卷积神经网络均由多个并联的分 支组成； 每个下采样卷积神经网络的分支由多个级联的下采样卷积子模块组成， 每个分支 的下采样卷积子模块由一个卷积层、 一个批归一 化层、 一个激活层级联构成； 每个上采样卷积神经网络的分支由多个级联的上采样卷积子模块组成， 每个分支的上 采样卷积子模块由一个反卷积层、 一个批归一化层、 一个激活层级联构成； 所述的激活层都 采用了LeakyReLU激活函数。 3.根据权利要求2所述的一种基于ECO ‑GAN的图像增 强系统， 其特征在于， 所述的图像 修复子模块中采用了跨阶段融合模块， 用于减少网络模型在同时处理N种增强类型任务时 带来的相互抑制 影响； 跨阶段融合模块采用两个卷积层， 分别接受当前分支的输入和前一 阶段分支的输入， 沿通道维度堆叠， 再经过一个卷积层处理来自不同阶段的特征， 以实现跨 阶段的特征融合； 跨阶段融合模块首先将当前阶段的通道数为ch的特征与前一阶段的通道 数为ch的特征堆叠起来， 得到通道数为2 ×ch的特征， 再经过卷积层提取其中的信息， 将特 征浓缩， 得到通道数为c h的特征， 并继续送给当前阶段的网络 。 4.根据权利要求3所述的一种基于ECO ‑GAN的图像增 强系统， 其特征在于， 所述生成器 网络输出的生成样本通过判别器网络进行判别， 通过最小化生成样本与真实样本之 间的差 异损失函数优化 生成器网络， 使得生成器网络生成足以迷惑判别器的生成样本 。 5.根据权利要求4所述的一种基于ECO ‑GAN的图像增 强系统， 其特征在于， 所述判别器 采用Patc h‑GAN， 通过全局判别器和 局部判别器综合判别生成器网络的输出样本的质量。 6.一种基于 ECO‑GAN的图像增强方法， 其特 征在于， 步骤如下： 步骤1、 采集原图像， 分析原图像所需的图像增强类型， 确定上采样卷积神经网络段数 N； 步骤2、 使用图像增强软件制作成对的数据集(原图像 ‑真实图像)， 供E CO‑GAN学习；权　利　要　求　书 1/3 页 2 CN 114663678 A 2步骤3、 通过基于 ECO‑GAN的图像增强系统的生成器网络得到生成样本； 步骤4、 生成样本通过判别器网络进行判别， 通过最小化生成样本与真实样本之间的差 异损失函数优化 生成器网络， 使得生成器网络生成足以迷惑判别器的生成样本； 判别器网络输出判别生成样本是否属于真实样本的判别结果， 通过优化判别器网络分 辨真伪的能力， 使得判别器网络对生成器网络提出更高的要求， 判别器网络与生成器网络 相互促进， 相互对抗， 共同进步； 步骤5、 通过训练好的生成器网络 完成对待处 理图像的增强； 将原图像输入基于ECO ‑GAN的图像增强系统的生成器网络中， 使用生成器特征提取子 模块的一段级联的下采样卷积神经网络， 从原图像中提取 特征。 7.根据权利 要求6所述的一种基于ECO ‑GAN的图像增强方法， 其特征在于， 步骤3具体方 如下： 所述的下采样卷积神经网络由多个分支构成， 每个分支包括多个卷积模块， 所述的卷 积模块为卷积层、 批归一化层和激活层的组合； 所有激活层的激活函数采用LeakyReLU； 批 归一化层将用于卷积层提取 的特征做按照最小批次进行归一化， 然后送到激活层； 激活层 使用LeakyReLU函数将 批归一化后的特征激活， 然后将图像特征送到下一个卷积模块中； 下 采样卷积神经网络通过逐分支处理其中通道间的注意力机制、 挖掘蕴藏在通道间的信息， 再把多个分支融合 堆叠， 结合sk ip connection跳跃连接的形式， 缓解了梯度消失现象； 所述的上采样卷积神经网络共有N段， 根据下采样卷积神经网络提取到的图像特征对 图像进行修复； 每一段上采样卷积神经网络对应一种图像增强任务， 每一段上采样卷积神 经网络有多个分支， 每个分支包括多个反卷积模块， 所述的反卷积模块为反卷积层、 批归一 化层、 激活层的组合， 反卷积模块数量与下采样卷积神经网络的卷积模块保持一致； 所有激 活层的激活函数采用LeakyReLU； 批归一化层将卷积神经网络提取的特征做按照最小批次 进行归一化， 然后送到下一层； 采用跨阶段融合模块， 减少网络模型在同时处理多种增强类 型任务时带来的相互抑制影响； 图像特征经过N段上采样卷积神经网络和跨阶段融合模块， 通过第N段 上采样卷积神经网络得到最终恢复的图像， 称为 生成样本 。 8.根据权利 要求7所述的一种基于ECO ‑GAN的图像增强方法， 其特征在于， 步骤4具体方 法如下： 将生成样本和真实图像输入判别器网络， 使用判别器特征提取子模块提取特征， 传入 分类器中， 由分类 器对输入的图像的真伪进行判别； 每个图像增强任务对应一组生成器损失函数， 根据生成样本与真实样本内容差距的最 小二乘损失， 判别器对生成样本判别真伪的局部最小二乘损失和全局最小二乘损失构成判 别器损失函数： 权　利　要　求　书 2/3 页 3 CN 114663678 A 3