(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210435096.9 (22)申请日 2022.04.24 (71)申请人 海信集团控股 股份有限公司 地址 266555 山东省青岛市经济技 术开发 区前湾港路218号 (72)发明人 高雪松　陈维强　张淯易　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 刘醒晗 (51)Int.Cl. G06F 21/62(2013.01) (54)发明名称 一种保护人脸图像隐私的方法及电子设备 (57)摘要 本申请涉及图像隐私保护技术领域， 提供一 种保护人脸图像隐私的方法及电子设备， 通过对 原始人脸图像进行格式化表示， 获得需要进行隐 私处理的至少一个人脸部位的像素点的原始图 像矩阵， 利用已训练的人脸生成模型， 并对原始 图像矩阵添加差分噪声进行隐私扰动， 获得视觉 生成矩阵， 由于差分噪声矩阵能够保持关键部位 的视觉生 成矩阵与原始图像矩阵的分布一致， 这 样， 在利用关键部位的视觉生 成矩阵生成的人脸 局部图像替换原始人脸图像中相应的关键部位 后， 可以保证获得的目标人脸图像为正常的人脸 图像， 即保持视觉有好性； 并且， 通过对目标人脸 图像进行测试， 保证目标人脸图像可用性的同 时， 也保护了用户的个人隐私。 权利要求书3页 说明书12页 附图7页 CN 114817986 A 2022.07.29 CN 114817986 A 1.一种保护人脸图像隐私的方法， 其特 征在于， 所述方法包括： 获取原始人脸图像； 利用已训练的人脸生成模型， 确定差分噪声矩阵， 并将所述差分噪声矩阵分别与所述 原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和， 得到每个关键部位的视 觉生成矩阵， 其中， 所述差分噪声矩阵用于保持所述关键部位的视觉生成矩阵与原始图像 矩阵的分布一 致； 根据至少一个视 觉生成矩阵， 生成相应的关键 部位的人脸局部图像； 通过特征点匹配， 用至少一个人脸局部 图像， 分别替换所述原始人脸图像中相应的关 键部位， 获得隐私保护后的目标 人脸图像； 测试所述目标 人脸图像， 并在测试通过后进行处 理以保护身份隐私。 2.如权利要求1所述的方法， 其特征在于， 所述确定差分噪声矩阵， 并将所述差分噪声 矩阵分别与所述原始人脸图像的至少一个关键部位内像素点的原始图像矩阵求和， 得到每 个关键部位的视 觉生成矩阵， 包括： 针对每一个关键 部位， 执行以下操作： 从已构建的人脸部位数据库中， 选择与所述关键部位的类别相同的一张参考图像， 并 确定所述 参考图像内像素点的参 考矩阵； 根据所述 参考矩阵和所述关键 部位的原 始图像矩阵， 确定 差分噪声初始的扰动系数； 根据所述关键部位的原始图像矩阵， 以及初始的扰动系数和预先设定的表示差分噪声 扰动程度的差分隐私系数， 获得 所述关键 部位初始的视 觉生成矩阵； 确定初始 的视觉生成矩阵和原始图像矩阵的分布是否一致， 若不一致， 则将初始 的视 觉生成矩阵作为所述参考矩阵， 重新确定扰动系 数， 直至视觉生成矩阵和原始图像矩阵的 分布一致。 3.如权利要求2所述的方法， 其特征在于， 针对每一个关键部位， 所述关键部位的视觉 生成矩阵与原 始图像矩阵的一 致分布关系为： 其中， D(X1)表示所述关键部位的原始图像矩阵的第一分布， D(X2)表示所述关键部位的 视觉生成矩阵的第二分布， Pr(D(X1)＝R)表示所述第一分布为Pr(R)分布， Pr(D(X2)＝R)表 示所述第二分布 为Pr(R)分布， λ为用于表 示差分噪声扰动程度的差分隐私系数， λ∈[0， 1]， d(X1， X0)表示所述关键部位的原始图像矩阵和所述参考矩阵之间归一化后的距离， 表示差分噪声矩阵的概 率分布。 4.如权利要求3所述的方法， 其特征在于， 所述关键部位的原始图像矩阵和参考矩阵之 间归一化后的距离d(X1， X0)的计算公式为： 其中， di(x1， x0)表示所述原始图像矩阵中的第i个位置元素x1与所述参考矩阵中的第i 个位置元素x0之间的距离， n为所述原始图像矩阵和所述参考矩阵包含的位置元素总数， | imax， imin|表示所述原 始图像矩阵中第i个位置元 素的取值区间。权　利　要　求　书 1/3 页 2 CN 114817986 A 25.如权利要求1所述的方法， 其特征在于， 所述测试包括视觉友好性测试， 所述测试所 述目标人脸图像包括： 确定所述目标人脸图像中各关键部位， 与 所述原始人脸图像中相应的关键部位间的亮 度差异、 对比度差异和结构差异中的至少一项； 根据所述亮度差异、 所述对比度差异和所述结构差异中的至少一项， 确定所述目标人 脸图像中各关键 部位与所述原 始人脸图像中相应的关键 部位间的视 觉相似度； 根据各视觉相似度的和与第 一阈值的比较结果， 确定所述目标人脸图像是否通过所述 视觉友好性测试。 6.如权利要求5所述的方法， 其特 征在于， 所述视 觉相似度的确定公式为： SSIM(X1， X2)＝[l(X1， X2)αc(X1， X2)βs(X1， X2)γ] 其中， SSIM(X1， X2)表示所述原始 人脸图像的关键部位与所述目标人脸图像的关键部位 之间的视觉相似度， l(X1， X2)表示所述原始人脸图像的关键部位与 所述目标人脸图像的关 键部位间的亮度差异， c(X1， X2)表示所述原始人脸图像的关键部位与 所述目标人脸图像的 关键部位间的对比度差异， s(X1， X2)表示所述原始人脸图像的关键部位与 所述目标人脸图 像的关键部位间的结构差异， 和 分别表示所述原始人脸图像的关键部位与所述目标 人脸图像的关键部位的灰度均值， 和 分别表示所述原始人脸图像的关键部位与所述 目标人脸图像的关键部 位的灰度标准差， 表示所述原始人脸图像的关键部 位与所述目 标人脸图像的关键部位的灰度 协方差， C1、 C2和C3均为设定的常数， α、 β 和γ 分别为所述亮度 差异、 所述对比度差异和所述结构差异对应的预设权 重。 7.如权利要求1所述的方法， 其特征在于， 所述测试包括重识别测试， 所述重识别测试 是基于图像相似度测试的， 所述测试 所述目标 人脸图像包括： 提取所述目标人脸图像中各关键部位的特征向量， 以及所述原始人脸图像中相应的关 键部位的特 征向量； 根据所述各关键部位的两个特征向量， 确定相应的关键部位在原始人脸图像和目标人 脸图像间的图像相似度； 根据各图像相似度与第 二阈值的比较结果， 确定所述目标人脸图像是否通过重识别测 试。 8.如权利要求7所述的方法， 其特征在于， 所述图像相似度用于衡量所述目标人脸图像 和所述原 始人脸图像之间距离的最大均值 误差， 所述图像相似度计算公式为： FID＝|| μr‑μg||2+Tr(∑r+∑g‑2(∑r∑g)1/2) 其中， r表示所述原始人脸图像的关键部位的特征向量， g表示所述目标人脸图像的关 键部位的特征向量， μr表示所述原始人脸图像的关键部 位的特征向量的均值， μg表示所述目 标人脸图像的关键部位的特征向量的均值， ∑r表示所述原始人脸图像的关键部位的特征权　利　要　求　书 2/3 页 3 CN 114817986 A 3