(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211170377.2 (22)申请日 2022.09.22 (71)申请人 杭州师范大学 地址 311121 浙江省杭州市余杭区余杭塘 路2318号 (72)发明人 潘志庚　方林　黄盈　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 陈炜 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/04(2011.01) G06T 15/20(2011.01) G06T 3/00(2006.01) G06T 3/40(2006.01)G06V 10/764(2022.01) G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种提升 3DMM人脸模型视 觉效果的方法 (57)摘要 本发明公开了一种提升3DMM人脸模型视觉 效果的方法。 现有方法忽视了 人脸模型在人眼视 觉感官上的保真， 所设计出来的模 型和方法与人 的主观感受不匹配。 本发明方法首先对人脸数据 集合进行预处理和图像归一化处理， 通过神经网 络输出3DMM重建系数和辐射补偿系数， 通过巴塞 尔模型解码出个性化人脸模型， 将个性化人脸模 型的纹理向量与辐射补偿系数进行融合， 计算损 失函数， 约束网络学习方向， 优化人脸模型视觉 效果。 本发 明方法在原有基础上增加的辐射强度 补偿模块和纹理的损失函数， 以改善重建后人脸 模型的纹理空间范围。 本发明方法能有效改善 3DMM参数化人脸模型的表现力不足问题， 提升模 型的在人眼感官 下的视觉表现效果。 权利要求书2页 说明书5页 附图1页 CN 115471611 A 2022.12.13 CN 115471611 A 1.一种提升 3DMM人脸模型视 觉效果的方法， 其特 征在于： 步骤(1)对人脸数据集 合进行预处理， 包括： 利用MTCN N人脸检测模块对人脸数据集 合中的每张初始人脸图片提取5个人脸关键点； 将每张初始人脸图片根据对应的5个人脸关键点裁 剪出224×224大小的人脸图片； 裁剪后的人脸图片利用预训练好的人脸检测模型检测出68个人脸关键点； 利用OpenCV内置的Prew itt算子提取 出裁剪后的每张人脸图片的高频信息图Tex； 使用贝叶斯选择器对每张人脸图片逐像素进行 人脸皮肤判断， 得到人脸 面部掩模M； 步骤(2)图像归一化处理： 将每张裁剪后的人脸图片I的三通道像素值范围由0～255区 间压缩到0～1区间， 将对 应的高频信息图Tex的单通道像素值 范围由0～255区间压缩 到0～1 区间； 步骤(3)将归一化处理后的人脸图片输入ResNet50神经网络， 输出两组系数， 分别为 3DMM重建系数 和辐射补偿系数 其中， ( α, β,γ)为3DMM参数化 模型系数， 为光照系数， 为姿态系数， 表示实数 域， 239为总 系数量， 3 ×36×103为3DMM参数化模型解析 出来的纹 理向量的维度； 两组系数回归使用同一个 基础网络， 最后使用两个不同全连接层进行系数回归； 步骤(4)将回归的3DMM参数化模型系数( α, β,γ)输入到巴塞尔模型中进行解析， 解码 出低维度的个性 化人脸模型， 包 含形状向量S和纹 理向量T； 步骤(5)将低维度的个性化人脸模型的纹理向量T与辐射补偿系数 进行融合， 纹理向 量T＝(R′1,G′1,B′1,R′2,G′2,B′2,…,R′36000,G′36000,B′36000)， (R′m,G′m,B′m)为个性化人脸模 型中第m个顶点的RGB信息， m＝1,2, …,36000， (R″m,G″m,B″m)为个性化人脸模型中第m个顶点的RGB补偿信息， 纹理向量T与辐射补偿系数 进行线型叠加， 逐顶点补偿纹 理信息， 得到个性 化人脸模型的辐射强度 步骤(6)通过可微分渲染器获得与人脸图片I一致的个性化人脸模型的二维投影 图片 I′， 计算损失函数； 具体是： 将形状向量S和补偿后的纹理向量T作为重建人脸模型向量， 将重建人脸模型向量与光 照系数、 姿态系数共同输入到可微分渲染器中， 可微分渲染器烘培出与人脸图片相似的可 视化三维人脸模型； 可微分渲染器根据姿态系数调整相机位姿， 对生成的可视化三维人脸模型进行二维投 影， 获得与人脸图片I 一致的二维投影图片I ′； 将通过可微分渲染器获得的二维投影图片I ′与人脸图片I进行损失函数计算， 目标函 数Ltotal＝Limage+Llmk+Ltex+LP+Lcoeff； 其中， Limage为光度损失， Llmk为关键点损失， Ltex为高频纹 理损失， LP为高维特征余弦距离， Lcoeff为正则损失； 利用损失函数约束网络的学习方向， 减 少二维投影图片I ′与人脸图片I之间的差距， 优化重建后的人脸模型的视 觉效果。 2.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法， 其特征在于： 步骤(1) 中提取高频信息图Tex具体方法是： 根据提 取横向信息和纵向信息的总和P(i,j)判定像素点 (i,j)是否为边缘， 如果P(i,j)大于设定阈值， 表示该像素点为边缘像素点， 保留边缘像素 点， 其他像素点 滤除， 得到高频信息图Tex； P(i,j)＝G(i)+G(j)； G(i)和G(j)分别表示横向边 缘信息提取的数值和纵向边 缘信息提取的数值；权　利　要　求　书 1/2 页 2 CN 115471611 A 2G(i)＝|[f(i ‑1,j‑1)+f(i‑1,j)+f(i ‑1,j+1)]‑[f(i+1,j ‑1)+f(i+1,j)+f(i+1,j+1)] |， G(j)＝|[f(i ‑1,j+1)+f(i,j+1)+f(i+1,j+1)] ‑[f(i‑1,j‑1)+f(i,j ‑1)+f(i+1,j ‑1)] |； f(i,j)表示像素点(i,j)像素值。 3.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法， 其特征在于： 步骤(1) 人脸面部掩模M中第n个像素判断为皮肤的概率值 Pn表示贝叶斯选择器 对人脸图片第n个 像素判断为皮肤的概 率， n＝1,2,…,N， N为人脸图片像素点数量。 4.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法， 其特征在于： 步骤(3) 中所述的姿态系数P由旋转系数和平移系数组成， 旋转系数R∈SO(3)， SO(3)表示三阶旋转 矩阵， 平移系数 5.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法， 其特征在于： 步骤(4) 中， 和 为巴塞尔模 型得出的平均人脸几何和平均人 脸纹理， Bid、 Bexp和Bt为巴塞尔模型对身份、 表情和纹 理信息提取 出来的主成分。权　利　要　求　书 2/2 页 3 CN 115471611 A 3