(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210307257.6 (22)申请日 2022.03.25 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 李雅倩　张秀敏　肖存军　李海滨　 张文明　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 陈跃心 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 40/16(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于几何感知先验引导的遮挡人脸修 复方法 (57)摘要 本发明公开了一种基于几何感知先验引导 的遮挡人脸修复方法， 包括如下步骤： 步骤S1、 建 立人脸语义解析模块； 步骤S2、 将遮挡人脸图像 输入到人脸语义解析模块中以获取人脸语义解 析图； 步骤S3、 将人脸语义解析图、 遮挡人脸图像 和随机遮挡Mask拼接成5通道 的图片， 作为步骤 S4中修复网络生成器的输入； 步骤S4、 构造修复 网络生成器， 得到最终修复图像； 步骤S5、 修复图 像输入到全局判别器和局部判别器； 步骤S6、 用 设计好的方法在公开数据集上进行实验并测试 Peak Signal‑to‑Noise Ratio、 Structural   Similarity  Index和Fr échet Inception   Distance三个指标。 权利要求书2页 说明书7页 附图3页 CN 114764754 A 2022.07.19 CN 114764754 A 1.一种基于几何感知先验引导的遮挡人脸 修复方法， 其特 征在于： 包括如下步骤： 步骤S1、 建立人脸语义解析模块， 人脸语义解析模块由BiseNet网络构成， BiseNet网络 包括空间分支、 上 下文分支和特 征融合模块； 步骤S2、 将遮挡人脸图像输入到人脸语义 解析模块中以获取 人脸语义 解析图； 步骤S3、 将人脸语义解析图、 遮挡人脸图像和随机遮挡Mask拼接成5通道的图片， 作为 步骤S4中生成器的输入， 为遮挡人脸 修复提供 人脸几何先验知识； 步骤S4、 构造生成器， 生成器包括编码器和解码器， 编码器根据遮挡人脸 图像、 随机遮 挡Mask与人脸语义解析图生成目标人脸图像的人脸特征向量， 根据人脸特征向量提取目标 人脸图像中受遮挡区域对应的遮挡 特征向量， 解码器根据遮挡 特征向量， 生成遮挡部分图 像， 得到最终修复图像； 步骤S5、 修复的图像输入到全局判别器和局部判别器， 其中局部判别器包括左眼局部 判别器、 右眼局部判别器和嘴局部判别器， 引入具有左眼、 右眼、 嘴局部判别器的面部组件 损失， 并且基于判别器学习到的特 征进行进一 步的风格监 督； 步骤S6、 用设计好的方法在公开数据集上进行实验并测试Peak  Signal‑to‑Noise  Ratio、 Structural Similarity Index和Fr échet Inception Distance三个指标。 2.根据权利要求1所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述步骤S4的具体步骤为： 步骤S41、 在编码器中， 首先经过一个7*7的卷积， 扩大感受野， 再经过两个步长为2的4* 4卷积进行 特征提取， 提取的特 征记为x1； 步骤S42、 使用上下文聚合变换模块增强上下文特征推理和遮挡区域的纹理合成， 将输 入特征x1分别输入到四个不 同空洞率的空洞卷积， 使用大的空洞率关注图片的全局特征， 小的空洞率关注图片的局部特征， 最后通过一个3*3卷积将四个输出特征进行特征融合得 到特征x2； 步骤S43、 使用门控残差连接单元将输入特征x1与输出特征x2聚合， 得到最终的编码器 特征x3,其中门控残差连接单元包含一个标准卷积和sigmoid激 活函数， 该门控残差连接单 元减小了遮挡区域内外颜色差异； 步骤S44、 连续使用两次倍率为2的关注特征重要性的上采样 对特征x3进行解码， 得到在 空间维度上与输入图像高度和宽度一样大的修复人脸图像。 3.根据权利要求2所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述步骤S43中门控残差连接单元首先通过3*3的标准卷积和sigmoid激活函数， 计算空 间变异门控值g， 然后上下文聚合变换模块通过加权 的方式将输入特征x1和学习到 的残差 特征x2聚合起来得到最终的编码特 征x3， 特征x3定义如下： x3＝x1×g+x2×(1‑g)。 4.根据权利要求1所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述步骤S 5中全局判别器和局部判别器均使用3层步长为2的4*4标准卷积层， 且每一层 都将特征图的空间大小减少两倍， 输出预测图， 预测图的每个像素表示输入图像中N ×N遮 挡区域的预测为真或假， 并计算对抗损失Ladv、 重建损失Lrec、 感知损失Lper、 特征风格损失 Lsty、 人脸组件损失Lcomp和人脸身份距离保持损失Lid以判定修复的人脸图像是否服从真实 人脸图像分布；权　利　要　求　书 1/2 页 2 CN 114764754 A 2全局判别器和 局部判别器的总损失函数的公式如下： L＝ λadvLadv+λrecLrec+λperLper+λstyLsty+λcompLcomp+λidLid， 其中， 所述Ladv为对抗损失函数； Lrec是重建损失函数； Lper是感知损失函数； Lsty是特征 风格损失函数； Lcomp是人脸组件损失函数； Lid是人脸身份距离保持损失函数， λadv、 λrec、 λper、 λsty、 λcomp和 λid分别为预设的人脸修复网络模型中对抗损失、 重建损失、 感知损失函数、 特征 风格损失、 人脸组件损失、 人脸身份距离保持损失的权 重参数。 5.根据权利要求4所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述对抗损失函数Ladv的公式如下： 其中， D表示判别器， z是修复的图像， x是真实图像， σ 为降采样和高斯滤波的组合函数， m是对应的二进制掩 模。 6.根据权利要求4所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述重建损失函数Lrec的公式如下： Lrec＝||x‑G(x⊙(1‑m),m)||1， 其中， x是真实图像， G是生成器， m为对应的二进制掩 模，⊙表示像素乘法。 7.根据权利要求4所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述感知损失函数Lper的公式如下： 其中， φi为预训练网络VG G19的第i层特 征图， Ni为φi中元素的数量， z是修复图像。 8.根据权利要求4所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述特 征风格损失函数Lsty的公式如下： Lsty＝Ei[||φi(x)Tφi(x)‑φi(z)Tφi(z)||1]， 其中， φi为预训练网络VG G19的第i层特 征图， x是真实图像， z是修复图像。 9.根据权利要求4所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述人脸组件损失Lcomp的公式如下： 其中ROI是人脸关键组件区域， DROI是关键组件区域判别器， Gram表示矩阵计算， ψ是判 别器学习到的多分辨率特征， x是真实图像， z是修复图像， λlocal和 λfs分别表示局部判别损 失和特征风格损失的权 重参数。 10.根据权利要求4所述的一种基于几何感知先验引导的遮挡人脸修复方法， 其特征在 于： 所述人脸身份距离保持损失函数Lid的公式如下： Lid＝ λid|| η(z)‑η(x)||1 其中， η为人脸特征提取器(本发明中选用ArcFace模型)， λid为人脸身份距离保持损失 的权重参数， x是真实图像， z是修复图像。权　利　要　求　书 2/2 页 3 CN 114764754 A 3