(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221015780 0.9 (22)申请日 2022.02.21 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 刘磊　陈海秀　颜秋叙　金肃钦　 刘奇　巩大康　何珊珊　陆康　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06T 5/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于多尺度密集生成对抗网络的水下 图像增强方法及网络模型的训练方法 (57)摘要 本发明提供了一种基于多尺度密集生成对 抗网络的水下图像增强方法及网络模型的训练 方法， 多尺度密集生成对抗网络模 型包括生成器 网络和判别器网络， 生成器网络包括由多尺度密 集特征提取MSDB模块组成的跳跃连接块。 模型除 了非饱和损失、 L1距离和梯度损失之外， 还添加 VGG感知损失来增强U WGAN的结构， 通过非饱和损 和L1损失和梯度损失能够更清晰的保留地面的 真实值， 感知损失用来比较图像特征空间的差 异， 使得网络能够更好地恢复水下图像的细 节信 息， 进行水下图像增强， 增 加图像的清晰度。 权利要求书3页 说明书8页 附图2页 CN 114663297 A 2022.06.24 CN 114663297 A 1.一种基于多尺度密集 生成对抗网络的水 下图像增强方法， 其特 征在于， 包括： 获取水下原始图片； 将水下原始图片输入到训练好的的多尺度密集生成对抗网络模型中进行图片增强处 理， 输出水下增强图片； 所述多尺度密集生成对抗网络模型包括生成器网络和判别器网络， 生成器网络包括由 多尺度密集特 征提取MS DB模块组成的跳跃 连接块。 2.一种多尺度密集生成对抗网络模型的训练方法， 其特征在于， 训练好的多尺度密集 生成对抗网络模型用于权利要求1所述的水下图像的增强， 所述多尺度密集生成对抗网络 模型的训练方法包括： 获取训练数据集， 所述训练数据集包括原 始图像和与原 始图像相映射的失真图像； 将训练数据集内的图像样本输入到预建立好的多尺度密集生成对抗网络模型中进行 交替迭代训练， 直至模型损失函数值 不再下降， 完成训练。 3.根据权利要求2所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所述 训练数据集由循环生成对抗网络生成的不对称数据集。 4.根据权利要求2所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所述 预建立好的多尺度密集 生成对抗网络模型包括 生成器网络和判别器网络 。 5.根据权利要求4所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所述 生成器网络依次包括两个顺序连接的卷积块、 跳跃 连接块以及两个顺次连接的反卷积块； 卷积块均包括依次连接的卷积层、 BN层和Leaky  ReLU层； 第一个反卷积块包括依次连接的反卷积层、 BN层和Leaky  ReLU层； 第二个反卷积块包括依次连接的反卷积层和Tanh层； 生成器网络中第一个卷积块的输出能直接跳跃连接至第二个反卷积块处作为第二个 反卷积块的输入。 6.根据权利要求5所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所述 跳跃连接块包括两个依次连接的MSDB模块， 在第二个卷积块和第一个MSDB模块之间、 第一 个MSDB模块和第二个MSDB模块之间、 第二个MSDB模块和第一个 反卷积块之间以及第二个卷 积块和第一个反卷积块之间均采用跳跃 连接的方式进行 连接。 7.根据权利要求6所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所述 MSDB模块的表示方法为： 权　利　要　求　书 1/3 页 2 CN 114663297 A 2其中ω代表权重， ω的上标表示卷积层的位置， ω的下标表示相应的卷积层大小， “*” 表示卷积， L是Leaky  ReLU激活函数， [T1,F1,Xn‑1]、 [T1,F1,Xn‑1]和[T2,F2,O1,Xn‑1]均指代特 征图的串联。 8.根据权利要求7所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， MSDB 中的每一层都使用步长为1的卷积核。 9.根据权利要求4所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所述 判别器网络包括 光谱归一化的依次连接的五个卷积块； 第一个卷积块包括 顺序连接的卷积层和Leaky  ReLU层； 第二个卷积块、 第三个卷积块以及第 四个卷积块网络结构相同， 均包括顺序连接的卷 积层、 BN层和Leaky  ReLU层； 第五个卷积块包括 顺序连接的卷积层和Sigmo id层。 10.根据权利要求2所述的多尺度密集生成对抗网络模型的训练方法， 其特征在于， 所 述模型损失函数值的计算方法包括： 计算非饱和对抗损失 上式中， 表示最大化D和最小化G的优化函数； V(D,G)表示优化函数； Ex～Pdata(x)表示x是真实分布的期望； x表示真实样本； Pdata表示真实分布； D表示判别器网 络， D(x)表示判别器网络判断x属于真实分布Pdata的概率； Ez～Pgen(y)表示y是生成分布的期 望； y表示输入生 成器网络的随机高斯噪声； Pgen表示生成分布； G表 示生成器网络， 而G(z)表 示生成器网络生成的假样本， D(G(z))是判别器网络判断生成器网络生成的样本是否属于 生成分布Pgen的概率； 计算L1距离和梯度损失 式LL1(G)中， E代表数学期望， x代表真实的水下图像； G代表网络的生成器结构， G(y)代 表生成器生成的图像， | |x‑G(y)||1表示真实水 下图像和生成的水 下图像的距离 。 式Lg(G)中， E代表 数学期望， 代表真实水下图像的梯度， 代表生成器G(y) 生成图像的梯度； Lg(G)表示的是真实水 下图像和生成器网络生成的图像之间的梯度损失。 计算感知损失函数权　利　要　求　书 2/3 页 3 CN 114663297 A 3