(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370640.6 (22)申请日 2022.04.10 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 颜波　谭伟敏　付浪　李吉春　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 陆飞　陆尤 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于动态权重机制和时空特征增强的视频 去模糊方法 (57)摘要 本发明属于数字图像智能处理技术领域， 具 体一种基于动态权重机制和时空特征增强的视 频去模糊方法。 本发明方法包括： 通过特征提取 模块对模糊图像进行特征提取， 得到图像特征： 对提取的图像特征通过使用UNet结构进行时序 上前向和后向的传播融合； 通过构建 空间特征增 强模块， 对经过传播融合后的图像特征进行增 强； 通过重建模块， 对增强后的图像特征进行重 建； 对重建后的图像特征进行去模糊。 实验结果 表明， 本发 明可以动态的恢复视频中模糊严重的 区域， 纹理细节丰富的区域， 以及物体边缘等高 频部分， 提高主观视 觉效果。 权利要求书2页 说明书5页 附图4页 CN 114820353 A 2022.07.29 CN 114820353 A 1.一种基于动态权重机制和时空间特征增强的视频去模糊方法， 其特征在于， 具体步 骤为： (1)通过特征提取模块对 模糊图像进行 特征提取， 得到图像特 征： (2)对提取的图像特 征通过使用UNet结构进行时序上 前向和后向的传播融合； (3)通过构建空间特 征增强模块， 对经 过传播融合后的图像特 征进行增强； (4)通过重建模块， 对增强后的图像特 征进行重建； (5)对重建后的图像特 征进行去模糊。 2.根据权利要求1所述的视频去模糊方法， 其特征在于， 步骤(1)中所述通过特征提取 模块对模糊图像进行特征提取得到图像特征， 具体流程为： 把输入的每一帧模糊的图像分 别依次经过卷积操作、 2个通道注 意力块、 卷积操作， 得到模糊图像的特征； 其中的通道注 意 力块的具体流程为： 依次经过卷积操作、 激活函数、 卷积操作处理， 然后， 分为两个子分支； 其中一个子 分支作为残差， 在后面使用， 另一个子 分支依次经过： 全局平均池化、 卷积操作、 激活函数、 卷积操作、 激活函数， 然后通过sigmoid函数， 得到注意力图； 将其与前一子分支 进行逐点相乘； 最后， 把原始的特征与当前 处理的输出进行逐点相加， 得到与输入相同的新 图像特征。 3.根据权利 要求2所述的视频去模糊方法， 其特征在于， 步骤(2)中， 所述使用UNet结构 包括使用前向的UNet结构和反向的UNet结构， 传播相邻帧之间的特征信息； UNet结构在编 码器、 解码器部分分别输出三个不同尺度的特征， 通道数分别为96,144,192； 同时， 在t时刻 的编码器部分融合t ‑1时刻对应尺度的编码器和解码器的特征， 并把t时刻的编码器、 解码 器的特征传递给t+1时刻， 通过循环神经网络实现。 4.根据权利要求3所述的视频去模糊方法， 其特征在于， 步骤(3)中所述通过构建空间 特征增强模块， 对 经过传播融合后的图像特征进行增强， 具体流程为： 对前向和 后向UNet结 构在编码器部分和解码器部分创建每个尺度的特征， 然后分别进入时空特征增强模块， 所 述时空特 征增强模块的操作由如下公式描述： 式中， 分别表示在t时刻Encoder的第i个尺度的前向特征和后 向特征， SFB( ·)表示时空特征增强网络， 表示增强后的特征； 空间特征增强模块(SFB)是 一个三分支的残差网络块； 其中： 第一个分支， 利用傅里叶变换， 提取输入特征的实部和虚部； 对特征的实部， 依次进行 如下操作： 卷积操作， 激活函数， 卷积操作， 再把虚部和处理过的实部在特征通道维度进行 连接， 经过逆傅里叶变换 得到与输入特 征尺度相同的图像特 征； 第二个分支， 把输入的图像特征首先进过局部的卷积， 再依次经过卷积操作、 激活函 数、 卷积操作； 将得到的结果， 分为两个子分支： 其中一个子分支作为残差， 供后面使用； 另 一个子分支依次经过： 全局平均池化， 卷积操作， 激活函数， 卷积操作， 激活函数， 再通过 sigmoid函数， 得到注 意力图； 将其与前一子 分支进行逐点相乘； 最后， 把原始的特征与当前权　利　要　求　书 1/2 页 2 CN 114820353 A 2处理的输出进行 逐点相加， 得到与输入相同的新图像特 征； 第三分支， 是原 始特征； 最后把三个分支 的结果进行逐点加和， 得到增强后的图像特征， 其空间维度与输入维 度相同。 5.根据权利要求4所述的视频去模糊方法， 其特征在于， 步骤(4)所述通过重建模块， 对 增强后的图像特征进 行重建， 具体流程为， 把增强模块的输出结果输入到重 建模块， 重 建模 块是使用多尺度的融合方式重建特 征， 多尺度融合方式用如下公式(3) ‑(5)表述： 式中， 表示不同尺度的重建特征， i＝1， 2， 3； Up()表示上采样操作， Conv表示卷积 操作， Φ(Bt)表示对模糊帧Bt提取的特 征。 6.根据权利要求5所述的视频去模糊方法， 其特征在于， 步骤(5)中所述对重建后的图 像特征进行去模糊， 具体流 程为： 将经过步骤(4)重建后的特 征分为两个分支， 其中： 一个分支是去模糊， 具体为， 把重建的最后特征 经过卷积操作Conv， 然后将其与 输入的模糊图像Bt相加， 得到最后的去模糊结果， 如公式(6)所示： 另一个分支是不确定性图估计分支， 由不确定性图估计分支得到不确定性图δi， 如公式 (7)所示； 通过exp( ‑lnδi)计算得到训练过程中每个像素点的动态权重， 以||Si‑F(Bi)||1表 示使用相同的权重， 即使用L1损失， 以exp( ‑lnδi)||Si‑F(Bi)||1表示根据不确 定图得到的 动态惩罚； 最终， 总的损失函数如公式(7)所示， 使用不确定性损失与L1损失共同优化模型 的训练； 其中， δi表示通过不确定性估计模块得到不确定性图， Si表示模糊图像， Bi表示模糊图 像对应的真实的清晰图像， F(.)表示去模糊的网络， N为模糊图的数量； 不确 定性分支在训 练阶段得到不确定性估计图， 用于计算损失函数， 训练模型。 7.根据权利要求6所述的视频去模糊方法， 其特征在于， 所述通过不确定性估计模块得 到不确定性图， 具体操作流程为： 对输入的特征， 依次经过卷积、 激活函数、 再经过8个相同 的通道注意力模块的操作； 其中， 每个通道注意力模块依次进 行如下操作： 把输入的特征首 先进过局部的卷积， 再依次经过卷积操作、 激活函数、 卷积操作处理； 把处理后的结果， 分为 两个子分支； 其中， 一个子 分支作为残差， 在后面使用， 另一个子 分支依次经过： 全局平均池 化、 卷积操作、 激活函数、 卷积操作、 激活函数， 然后通过sigmoid函数， 得到注意力图； 将注 意力图与前一子 分支进行逐点相乘； 最后， 把原始的特征与当前处理的输出进 行逐点相加， 得到与输入相同的新特征； 如此完成了1个过程； 经过8个相同模块处理后， 把结果通过最后 的卷积， 得到一个长 宽维度与输入相同、 输出通道数为3的不确定性估计图。权　利　要　求　书 2/2 页 3 CN 114820353 A 3