(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211121655.5 (22)申请日 2022.09.15 (71)申请人 烽火通信科技股份有限公司 地址 430000 湖北省武汉市东湖高新 技术 开发区高新四路6号 (72)发明人 陈搏　王健　聂建平　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 向彬 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/98(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多标签的人脸质量评估方法与装置 (57)摘要 本发明公开了一种基于多标签的人脸质量 评估方法： 对人脸图像模糊、 好坏、 口罩情况进行 多标签标注， 对姿态角进行多分类标注； 将标注 好的人脸图像经过多标签和多分类组合模型得 到人脸模糊、 好坏、 口罩情况标签以及姿态角分 类， 从而对 所述多标签和多分类组合模型进行训 练； 对人脸模糊 、 好坏、 口罩情况标签以及姿态角 分类的融合系数进行学习， 得到人脸质量影响因 子融合权重； 将待评估人脸图像， 经过所述训练 得后的多标签和多分类组合模型得到人脸模糊 、 好坏、 口罩情况标签以及姿态角分类， 再根据学 习得到的人脸质量影响因子融合权重得到最终 的人脸质量评估 得分。 本发明还提供了相应的基 于多标签的人脸质量评估 装置。 权利要求书2页 说明书6页 附图1页 CN 115457632 A 2022.12.09 CN 115457632 A 1.一种基于多标签的人脸质量评估方法， 其特 征在于， 包括如下步骤： 数据标注： 对人脸图像模糊、 好坏、 口罩情况进行多标签标注， 对姿态角进行多分类标 注； 模型训练： 将标注好的人脸图像经过多标签和多分类组合模型得到人脸模糊、 好坏、 口 罩情况标签以及姿态角分类， 从而对所述多标签和多分类组合模型进行训练； 融合因子学习： 对人脸模糊、 好坏、 口罩情况标签以及姿态角分类的融合系数进行学 习， 得到人脸质量影响因子融合权 重； 人脸质量评估： 将待评估人脸图像， 经过所述训练得后的多标签和多分类组合模型得 到人脸模糊、 好坏、 口罩情况标签以及姿态角分类， 再根据学习得到的人脸质量影响因子融 合权重得到最终的人脸质量评估得分。 2.如权利要求1所述的基于多标签的人脸质量评估方法， 其特征在于， 所述对人脸图像 模糊、 好坏、 口罩情况进行多标签标注， 对姿态角进行多分类标注， 包括： 人脸图像模糊、 好坏、 口罩情况使用多标签， 各标签之间相互独立， 每一张图像可以包 含其中的一个或多个标签； 姿态角分为七个 类别， 每个类别之间互斥， 姿态角只会是其中的一种。 3.如权利要求2所述的基于多标签的人脸质量评估方法， 其特征在于， 姿态角分为七个 类别包括： yaw姿态角在三个区间切分(0 °， 30°)(30°， 60°)(60°， 90°)， pitch和roll合并且只分 (0°， 30°)和30°以上。 4.如权利要求3所述的基于多标签的人脸质量评估方法， 其特征在于， 姿态角的七个类 别具体为： yaw∈(0°， 30°)且pitch和roll∈(0°， 30°)； yaw∈(30°， 60°)且pitch和roll∈(0°， 30°)； yaw∈(60°， 90°)且pitch和roll∈(0°， 30°)； yaw∈(0°， 30°)且pitch或roll>30°； yaw∈(30°， 60°)且pitch和roll>30°； yaw∈(60°， 90°)且pitch和roll>30°； 其他。 5.如权利要求2所述的基于多标签的人脸质量评估方法， 其特征在于， 所述人脸图像的 标注格式为{C1,C2,C 3,C4}， 其中： C1表示图像的模糊程度， 标签范围在(0,1)之间， 图像清晰程度越高， 该值越大， 反之图 像越模糊， 该值越小； C2表示人脸图像的好坏。 标签为0或1， 0表示非常极端 的人脸、 不完整 的人脸以及非人 脸图像， 1表示 正常人脸的图片； C3表示人脸是否遮挡或戴口罩情况， 标签为0或1， 0表示人脸有遮挡或戴口罩情况； 1表 示无遮挡无口罩情况； C4表示人脸的姿态角， 标签为{1， 2， 3， 4， 5， 6， 7}中的一种， 对应7种人脸姿态角中的一 种。 6.如权利要求2所述的基于多标签的人脸质量评估方法， 其特征在于， 所述多标签和多权　利　要　求　书 1/2 页 2 CN 115457632 A 2分类组合模型包括预处理、 骨干网络提取特征、 全连接特征分类、 损失计算， 经过反向传播 后， 迭代训练得到最终的多标签和多分类组合模型。 7.如权利要求6所述的基于多标签的人脸质量评估方法， 其特征在于， 使用全连接FC对 骨干网络提取的特征进行分类， FC的维度为(256， 10)， 其中256表示骨干网络提取的特征的 通道数， 10为要分类的通道数， 其中前3个通道表示模糊、 好坏、 口罩情况， 对每一个通道使 用sigmoid进行激活， 得到每个类别的独立概率； 后7个通道表示姿态角， 对应7种姿态角中 的一种， 对 7个通道合并使用softmax， 得到每个类别的概率， 选取概率最大的那个类别作为 最终的姿态角类别。 8.如权利要求6所述的基于多标签的人脸质量评估方法， 其特征在于， 损失函数使用二 值交叉熵， 二 值交叉熵的公式如下： L＝{l1,l2,...,ln}T 上式中L的维度为N*10， N为样本总数， 10为要分类的类别数， 每一个样本的损失ln通过 下式计算： ln＝‑ynlog(xn)‑(1‑yn)log(1‑xn) 其中yn标注好的人脸图像的人脸模糊、 好坏、 口罩情况标签以及姿态角分类， xn为标注 好的人脸图像经过多标签和多分类组合模型得到的人脸模糊、 好坏、 口罩情况标签以及姿 态角分类。 9.如权利要求1或2所述的基于多标签的人脸质量评估方法， 其特征在于， 所述对人脸 模糊、 好坏、 口罩情况标签以及 姿态角分类的融合系数进行学习， 得到人脸质量影响因子融 合权重， 包括： 图片经过多标签和多分类组合模型后输出模糊、 好坏、 口罩情况、 姿态角分类， 其中模 糊、 好坏、 口罩情况已经在(0， 1)范围， 分别记为S1， S2， S3， 需要将姿态角根据类别定义表转 换为具体的pitch、 yaw、 roll值， 再将pitch、 yaw、 roll根据如下公式变换到(0， 1)范围， 得到 人脸姿态角的得分， 记为S4； 最终的人脸质量得分SQ 通过下式计算： SQ ＝α S1+β S2+γS3+δS4； α 、 β 、 γ、 δ表示四个分支的融合系数， 融合系数通过 可学习参数进行 学习。 10.一种基于多标签的人脸质量评估 装置， 其特 征在于： 包括至少一个处理器和存储器， 所述至少一个处理器和存储器之间通过数据总线连 接， 所述存储器存储能被所述至少一个处理器执行 的指令， 所述指令在被所述处理器执行 后， 用于完成权利要求1 ‑9中任一项所述的基于多标签的人脸质量评估方法。权　利　要　求　书 2/2 页 3 CN 115457632 A 3