(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520354.3 (22)申请日 2022.05.13 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 蒋林承　张俊丰　张维琦　邓劲生　 曾道建　谭真　李硕豪　乔凤才　 徐博　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 邱轶 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于对比学习的多模态人脸识别方法、 装 置、 设备及 介质 (57)摘要 本申请涉及一种基于对比学习的多模态人 脸识别方法、 装置、 设备及介质。 所述方法包括： 根据卷积神经网络和残差网络分别对人脸平面 图像和人脸轮廓图像进行特征提取， 得到人脸平 面特征图和人脸轮廓特征图， 将人脸平面特征图 和人脸轮廓特征图进行交叉 组合， 得到多模态融 合特征； 根据对比学习方法对多模态融合特征进 行增强表示， 得到多模态特征表示； 利用3D卷积 网络对多模态特征表示进行特征分析， 得到人名 对应的概率 分布； 根据人名对应的概率分布和标 注的人名标签构建交叉熵损失函数， 利用交叉熵 损失函数和对比学习中的损失函数对预先构建 的人脸识别模 型进行训练， 根据训练好的人脸识 别模型进行人脸识别。 采用本方法能够提高人脸 识别准确率。 权利要求书2页 说明书10页 附图3页 CN 114821736 A 2022.07.29 CN 114821736 A 1.一种基于对比学习的多模态人脸识别方法， 其特 征在于， 所述方法包括： 获取待识别的人脸图像； 所述人脸图像包括人脸平面图像和人脸轮廓图像； 构建人脸识别模型； 所述人脸识别模型中包括卷积神经网络、 残差网络、 3D卷积网络、 全连接层和SoftMax层； 根据卷积神经网络对所述人脸平面图像进行 特征提取， 得到人脸平面特 征图； 利用残差网络对所述人脸轮廓图像进行 特征提取， 得到人脸轮廓特 征图； 将所述人脸平面特 征图和所述人脸轮廓特 征图进行交叉组合， 得到多模态融合特 征； 根据对比学习方法对所述多模态融合特 征进行增强表示， 得到多模态特 征表示； 利用3D卷积网络对所述多模态特 征表示进行 特征分析， 得到人名对应的概 率分布； 根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数， 利用所述交叉 熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练， 得到训练好的 人脸识别模型； 根据所述训练好的人脸识别模型对所述待识别的人脸图像进行 人脸识别。 2.根据权利要求1所述的方法， 其特征在于， 根据 卷积神经网络对所述人脸平面图像进 行特征提取， 得到人脸平面特 征图， 包括： 采用2D卷积神经网络设置小于或等于人脸平面图像大小的参数矩阵作为卷积核， 通过 多层的卷积层、 Relu激活函数层以及最大池化层对所述人脸平面图像进行特征提取， 得到 人脸平面特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述人脸平面特征图和所述人脸轮廓特征 图的数量相等。 4.根据权利要求1至3任意一项所述的方法， 其特征在于， 根据对比学习方法对所述多 模态融合特 征进行增强表示， 得到多模态特 征表示， 包括： 选择待识别人的其他面部平面图像和轮廓图像作为正例样本， 选择其他人的面部平面 图像和轮廓图像作为负例样本， 对所述正例样本和负例样本进行特征提取， 分别得到正例 样本的人脸平面特征图和人脸轮廓特征图和负例样本的人脸平面特征图和人脸轮廓特征 图； 将所述正例 样本的人脸平面特征图和人脸轮廓特征图进行交叉组合， 得到所述正例样 本的多模态融合特征， 将所述负例样本的人脸平面特征图和人脸轮廓特征图进行交叉组 合， 得到所述负例样本的多模态融合特 征； 根据对比学习方法增加待识别的人脸图像对应的多模态融合特征与所述正例样本的 多模态融合特征 的相似度， 减少与所述负例样本的多模态融合特征 的相似度， 得到多模态 特征表示。 5.根据权利要求1所述的方法， 其特 征在于， 所述多模态特 征表示的损失函数为 其中， Si表示待识别的人脸图像的多模态融合特征， i表示待识别的人脸图像的样本号， Sj表示正例样本的模态融合特征， j代表正例样本的样本号， Sk指不包括Si的正例和负例总 样本多模态融合特征， k是不包括Si的正例和负例总样本的样本号， sim表示L2距离函数， τ权　利　要　求　书 1/2 页 2 CN 114821736 A 2是调节特 征表示水平的参数。 6.根据权利要求1所述的方法， 其特征在于， 利用3D卷积网络对所述多模态特征表示进 行特征分析， 得到人名对应的概 率分布， 包括： 利用3D卷积网络对所述多模态特 征表示进行 特征分析， 得到人名对应的概 率分布为 其中， Fr＝ReLU(FC(f))＝max(0,WTf+b)， Fr表示多模态特征表示， f为特征向量， W为可 训练的参 数矩阵， b为偏置项， pj表示当前所识别人脸 是第j个人的概率， 为多模态特征的 第j个特征参数， 为多模态特 征的第i个特 征参数。 7.根据权利要求6所述的方法， 其特征在于， 根据 所述人名对应的概率分布和标注的人 名标签构建交叉熵损失函数， 包括： 根据所述人名对应的概 率分布和标注的人名标签构建交叉熵损失函数为 其中， y(x)代 表人名对应的真实分布， p(x)表示人名对应的概 率分布， x表示人名标签。 8.一种基于对比学习的多模态人脸识别装置， 其特 征在于， 所述装置包括： 特征提取模块， 用于获取待识别的人脸图像； 所述人脸图像包括人脸平面图像和人脸 轮廓图像； 构建人脸识别模型； 所述人脸识别模型中包括卷积神经网络、 残差网络、 3D卷积 网络、 全连接层和SoftMax层； 根据卷积神经网络对所述人脸平面图像进行特征提取， 得到 人脸平面特 征图； 利用残差网络对所述人脸轮廓图像进行 特征提取， 得到人脸轮廓特 征图； 交叉组合模块， 用于将所述人脸平面特征图和所述人脸轮廓特征图进行交叉组合， 得 到多模态融合特 征； 对比学习模块， 用于根据对比学习方法对所述多模态融合特征进行增强表示， 得到多 模态特征表示； 利用3D卷积网络对所述多模态特征表示进行特征分析， 得到人名对应的概 率分布； 人脸识别模块， 用于根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失 函数， 利用所述交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进 行 训练， 得到训练好的人脸识别模型； 根据所述训练好的人脸识别模型对所述待识别的人脸 图像进行 人脸识别。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114821736 A 3