(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161510.8 (22)申请日 2022.09.23 (71)申请人 北京智源人工智能研究院 地址 100084 北京市海淀区中关村东路1号 院8号楼三层B201D-1 (72)发明人 李利明　李钊　翁翔羽　张兴明　 (74)专利代理 机构 北京千壹知识产权代理事务 所(普通合伙) 11940 专利代理师 王玉玲 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/54(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种人脸关键点的检测方法、 系统和电子设 备 (57)摘要 本发明涉及图形数据处理技术领域， 公开了 一种人脸关键点的检测方法、 系统和电子设备， 该方法包括： 将原始人脸图像分割为图像补丁， 输出第一特征图； 将进行了位置编码的图像补丁 输入至tran sformer编码器模块进行图像的全局 特征提取； 将原始人脸图像输入至局部特征提取 模块； 将提取到的图像全局特征和图像局部特征 进行特征融合； 将第二残差卷积神经网络输出的 特征图输入至辅助网络， 该辅助网络用于识别人 脸属性信息。 本发明通过引入注意力机制， 并加 入了辅助分支， 有效提升了人脸 关键点检测算法 的精度。 权利要求书2页 说明书8页 附图6页 CN 115311730 A 2022.11.08 CN 115311730 A 1.一种人脸关键点的检测方法， 其特 征在于， 包括： 将原始人脸图像分割为n ×n个图像补丁， n为自然数， 对所述图像补丁进行卷积处理， 以输出第一特 征图； 对所述第一特征图中的每个图像补丁赋予位置信 息， 并根据所述位置信 息对图像补丁 序列进行位置编码， 将进行了位置编码的图像补丁输入至tr ansformer编码器模块进行图 像的全局特 征提取； 将原始人脸图像输入至依次连接的第一残差卷积神经网络、 第二残差卷积神经网络、 第三残差卷积神经网络和 第一全连接层构成的局部特征提取模块， 进 行图像局部特征的提 取； 其中， 所述第一残差卷积神经网络、 第二残差卷积神经网络、 第三残差卷积神经网络的 输出特征图的宽、 高逐渐 变小， 通道数 逐渐增加； 将提取到的图像全局特征和图像局部特征进行特征融合， 并将融合后的特征输出至第 二全连接层， 所述第二全连接层输出 所述原始人脸图像的人脸关键点 坐标信息； 将所述第二残差卷积神经网络输出的特征图输入至第四残差卷积神经网络和第三全 连接层构成的辅助网络， 所述辅助网络用于识别人脸属 性信息， 所述第三全连接层的长度 与所述人脸属性信息的数量匹配。 2.根据权利要求1所述的一种人脸关键点的检测方法， 其特 征在于： 所述transformer编码器模块包括第一标准化模块、 多头注意力 模块、 第二标准化模块 和MLP模块； 所述第一标准化模块用于对所述进行了位置编码的图像补丁进行归一化处理， 归一化 的结果输入至所述多头注意力模块； 所述进行了位置编码的图像补丁和所述多头注意力模块的输出相加后的结果输入至 所述第二标准 化模块， 所述第二标准 化模块将归一 化的结果输出至所述MLP模块； 所述进行了位置编码的图像补丁和所述MLP模块的输出相加后的结果作为所述 transformer编码器模块的输出。 3.根据权利要求1所述的一种人脸关键点的检测方法， 其特征在于， 所述图像局部特征 为所述原 始人脸图像的颜色特 征， 空间特 征和纹理特征。 4.根据权利要求1所述的一种人脸关键点的检测方法， 其特征在于， 还包括模型训练步 骤： 制作训练集和 测试集； 定义训练模型的超参数； 将均方差损失作为损失函数； 以最小化损失值 为目标， 利用训练集 不断迭代训练模型的参数； 当损失值的下降幅度在预定范围内时， 停止训练， 获得训练后的模型； 加载训练后的模型， 利用测试集进行评估， 计算人脸关键点输出结果与人脸关键点真 实标注值的差异。 5.根据权利要求1所述的一种人脸关键点的检测方法， 其特征在于， 所述人脸属性信 息 包括性别为男的概率、 性别为女的概率、 戴口罩的概率、 不戴口罩的概率、 戴眼镜的概率和 不戴眼镜的概 率。 6.根据权利要求1所述的一种人脸关键点的检测方法， 其特征在于， 所述辅助网络通过权　利　要　求　书 1/2 页 2 CN 115311730 A 2归一化指数函数 得到所述人脸属性信息的概 率。 7.一种人脸关键点的检测系统， 其特 征在于， 包括： 输入图像分割模块， 被配置为将原始人脸 图像分割为n ×n个图像补丁， n为自然数， 对 所述图像补丁进行 卷积处理， 以输出第一特 征图； 全局特征提取模块， 被配置为对所述第一特征图中的每个图像补丁赋予位置信息， 并 根据所述位置信息对图像补丁序列进行位置编码， 将进行了位置编码的图像补丁输入至 transformer编码器模块进行图像的全局特 征提取； 局部特征提取模块， 被配置为对输入的原始人脸图像进行图像局部特征的提取， 其包 括依次连接的第一残差卷积神经网络、 第二残差卷积神经网络、 第三残差卷积神经网络和 第一全连接层， 所述第一残差卷积神经网络、 第二残差卷积神经网络、 第三残差卷积神经网 络的输出 特征图的宽、 高逐渐 变小， 通道数 逐渐增加； 图像特征融合模块， 被配置为将提取到的图像全局特征和图像局部特征进行特征融 合， 并将融合后的特征输出至第二全连接层， 所述第二全连接层输出所述原始人脸图像的 人脸关键点 坐标信息； 辅助网络模块， 被配置为接收所述第二残差卷积神经网络输出的特征图， 以识别人脸 属性信息； 所述辅助网络模块包括依 次连接的第四残差卷积神经网络和第三全连接层， 所 述第三全连接层的长度与所述人脸属性信息的数量匹配。 8.根据权利要求7所述的一种人脸关键点的检测系统， 其特征在于， 所述transformer 编码器模块包括第一标准 化模块、 多头注意力模块、 第二标准 化模块和MLP模块； 所述第一标准化模块用于对所述进行了位置编码的图像补丁进行归一化处理， 归一化 的结果输入至所述多头注意力模块； 所述进行了位置编码的图像补丁和所述多头注意力模块的输出相加后的结果输入至 所述第二标准 化模块， 所述第二标准 化模块将归一 化的结果输出至所述MLP模块； 所述进行了位置编码的图像补丁和所述MLP模块的输出相加后的结果作为所述 transformer编码器模块的输出。 9.根据权利要求7所述的一种人脸关键点的检测系统， 其特征在于， 所述图像局部特征 为所述原 始人脸图像的颜色特 征， 空间特 征和纹理特征。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现权利要求1 ‑6任意一项所述的一种人脸关键点的检测方法。权　利　要　求　书 2/2 页 3 CN 115311730 A 3