(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210609236.X (22)申请日 2022.05.31 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 朱逸华　邓芋蓝　费伦科　滕少华　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/44(2022.01)G06V 10/50(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于3D人脸图像多特征融合的年龄识 别方法 (57)摘要 本发明涉及一种基于3D人脸图像多特征融 合的年龄识别方法， 包括以下步骤： 根据深度图 像中的深度信息来过滤掉2D图像中的背景噪声； 利用多个卷积神经网络分别提取多滤掉背景噪 声的2D图像中的年龄、 性别和种族特征； 基于注 意力集中机制自动学习年龄、 性别和种族特征对 年龄识别影 响的权重参数， 再根据各自的参数将 上述特征融合， 用于年龄预测。 提出背景噪声过 滤方法， 利用深度图像信息计算出人脸深度信息 的范围， 根据人脸深度范围过滤掉2D图像中的背 景噪声， 从而只保留人脸图像区域， 提升了年龄 识别的准确率； 利用多个卷积神经网络分别提取 年龄、 性别和种族特征， 并提出自适应特征融合 策略， 将这些特征融合为鲁棒性更强的年龄特 征， 自适应地调整参数。 权利要求书2页 说明书6页 附图2页 CN 115512403 A 2022.12.23 CN 115512403 A 1.一种基于 3D人脸图像多特 征融合的年龄识别方法， 其特 征在于， 包括以下步骤： S1： 根据深度图像中的深度信息来过 滤掉2D图像中的背景噪声； S2： 利用多个卷积神经网络分别提取多滤掉背景噪声的2D图像中的年龄、 性别和种族 特征； S3： 基于注意力集中机制自动学习年龄、 性别和种族特征对年龄识别影响的权重参数， 再根据各自的参数将上述特 征融合， 用于年龄预测。 2.根据权利要求1所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 在步骤S1中， 包括以下分步骤： S11： 利用局部二 值模式特 征遍历整个2D图像， 检测出 人脸的初步所在区域； S12： 在步所在区域中裁 剪出对应的人脸区域， 并在人脸区域上计算像素值的直方图； S13： 根据直方图的人脸深度信息， 得到过 滤掉背景噪声的人脸图像。 3.根据权利要求2所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 在步骤S11 中， 所述局部二值模式特征是将一个LBP算子(3 ×3)逐行逐列遍历整个图像， 从而计算出图像的特 征图。 4.根据权利要求3所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 在步骤S12中， 获取到人脸区域后， 在该区域上依然存在着背 景噪声， 根据人脸占区域面 积的大小， 来对比像素值所集中的范围， 得到像素值的直方图。 5.根据权利要求4所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 在步骤S13中， 定义3D 人脸图像为[Irgb(i,j),Id(i,j)]， 其中Igrb(x,y)是2D 人脸图像， Id (i,j)是对应的深度信息图像， 根据步骤S12计算得到的人脸深度信息， 过滤掉背景噪声， 其 中 μ是直方图中最大成分， ν 是 范围长度， Pixel 为原像素值， Pixel ′为过滤后得像素值。 6.根据权利要求5所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 深度图像是用Kinect相机拍摄得到的， 其Kinect相机用于获取深度信息； 通过以下公 式 过滤掉背景噪声： 遍历人脸深度图像的每一个像素点， 若该点的像素值在[ μ ‑ν, μ+ν]范围之外， 则将2D图 像中对应点的像素值置为0； 若该点的像素在[ μ ‑ν, μ+ν]范围之内， 则2D图像对应点的像素 值保持不变； 遍历完每个像素点后， 可得到滤除背景噪声后的人脸图像； 其中μ是直方图中 最大成分， ν 是 范围长度， Pixel 为原像素值， Pixel ′为过滤后得像素值。 7.根据权利要求6所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 在步骤S2中， 经过卷积神经网络的卷积层提取特征后， 采用非线性 ReLU激活函数去激活 卷积提取的特征， 该激活函数可抑制卷积层的负输出， 放大卷积层的正输出； 经过激活函数 后， 采用批量归一化层Batch  Normal归一化多个样 本的特征输出， 经过归一化层后， 特征再 输入到池化层， 以此提取 出最具有代 表性的特 征， 同时可减少特 征的数量 提升计算速度。 8.根据权利要求7所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 年龄、 种族和性别特征是分别用三个不同的损失函数去训练三个网络来得到的； 图片带 有上述三个信息的标签， 之后放到网络中训练， 最后学习到上述特征； 在性别卷积网络中，权　利　要　求　书 1/2 页 2 CN 115512403 A 2其输出为一个两比特的一维向量， [0,1]代表男性， [1,0]代表女性； 在种族卷积 网络中， 其 输出为一个三比特的一维向量， [0,0,1]代表亚洲人， [0,1,0]代表欧美人， [1,0,0]代表非 洲人； 通过不断地训练卷积神经网络， 人脸的性别和种族特征被学习并保存在卷积神经网 络中， 提取 出性别和种族特 征。 9.根据权利要求8所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， 在步骤S3中， (Fa),(Fg),(Fr)∈Rc×w×h分别为年龄、 性别和种族特征， 其中c为特征图的通 道数， w×h为特征图的尺寸； (Fa),(Fg),(Fr)分别经过CMP层后， 转换为(F'a),(F'g),(F'r)∈ Rc×1×1， 再输入到全连接层(FC)和激活函数层(ReLU)， 输 出的(Aa),(Ag),(Ar)∈Rc×1×1为一维 列向量， 分别代表着年龄、 性别和种族 特征内部注意力集中分布图， 即为每个通道特征图的 权重值； 将(Aa),(Ag),(Ar)按通道连接后再输入全连接层(FC)和激活函数层(ReLU)， 得到整 体的注意力集中分布图， 再与原组合特征图[Fa,Fg,Fr]∈R3c×w×h做卷积操作运算得到 自适 应融合特征图(Ff)， 将自适应融合特征图Ff用于年龄识别， 在整体上自动 地调节年龄、 性别 和种族特征对年龄预测结果的影响因子， 从而令模型在预测年龄时， 根据人脸的性别和种 族信息做出权 重调节。 10.根据权利要求9所述的一种基于3D人脸图像多特征融合的年龄识别方法， 其特征在 于， CMP为通道最大 特征池化层， 用于挑选出 特征图中的每一维通道的最大 特征值。权　利　要　求　书 2/2 页 3 CN 115512403 A 3