(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221076426 6.8 (22)申请日 2022.06.30 (71)申请人 湖南中科助英智能科技研究院有限 公司 地址 410000 湖南省长 沙市岳麓区桐梓坡 路96号 申请人 中南大学湘雅医院 (72)发明人 邹刚　闵晓珊　王悦　谢剑斌　 谢昌颐　邹亮羽　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 李杨 (51)Int.Cl. G06V 20/52(2022.01) G06F 3/01(2006.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种注视点估计方法、 装置、 计算机设备和 介质 (57)摘要 本申请涉及一种注视点估计方法、 装置、 计 算机设备和存储介质。 所述方法包括： 通过将人 员的凝视图像预处理得到规范化的训练图像后， 通过编码 ‑解码模块将外观特征代码、 凝视特征 代码和头部姿势代码分离， 通过旋转凝视特征代 码和头部姿势代码， 再根据旋转后的潜在空间特 征进行解码， 得到与训练图像对应的旋转解码图 像， 根据多个训练样本的训练图像， 旋转解码图 像和凝视 特征代码， 通过元学习得到自适应凝视 估计网络及其初始网络权重， 再根据待测人员的 校准信息对自适应凝视估计网络的初始网络权 值权重进行个性化调整， 得到特定于人的特定凝 视估计网络， 由此进行测试图像中注视方向的估 计， 进而确定注视点信息。 本发明适应性好， 学习 效率高。 权利要求书2页 说明书8页 附图4页 CN 115131731 A 2022.09.30 CN 115131731 A 1.一种注视点估计方法， 其特 征在于， 所述方法包括： 获取人员的凝视 图像， 对所述凝视 图像进行预处理得到训练图像， 将所述训练图像输 入预先设计的编码 ‑解码网络中； 所述编码 ‑解码网络包括编码模块和解码模块； 所述训练 图像包括人员的注视方向标签； 通过所述编码模块对所述训练图像进行处理， 得到所述训练图像的潜在空间代码； 所 述潜在空间代码包括外观特 征代码、 凝 视特征代码和头 部姿势代码； 对所述凝视特征代码和所述头部姿势代码进行显式旋转， 根据显 式旋转后的潜在空间 代码通过所述解码模块得到所述训练图像的旋转解码图像， 根据所述训练图像和所述旋转 解码图像学习具有旋转意识的潜在凝视特征； 所述旋转解码图像中人员的注视方向与所述 训练图像不同； 根据多个训练图像、 其对应的旋转解码图像， 以及对应的潜在凝视特征， 通过元学习算 法学习得到自适应凝 视估计网络及其初始网络 权重； 获取待检测人员的校准图像信 息， 通过所述校准图像信 息对所述初始网络权重进行调 整， 得到特定于待检测人员的特定凝视估计网络； 所述校准图像信息包括所述待检测人员 的两张标注了不同注视方向的图像； 获取所述待检测人员的测试图像， 将所述测试图像输入所述特定凝视估计网络中， 激 活输出所述测试图像的三维注视方向 向量， 进而得到所述测试图像中人员的注视点信息 。 2.根据权利要求1所述的方法， 其特征在于， 对所述凝视图像进行预处理得到训练图 像， 包括： 旋转所述凝 视图像， 使得相机坐标系的x轴垂直于人员头 部坐标系的y轴； 对旋转后的图像进行缩放， 使得相机位于距离眼睛中心固定的距离处。 3.根据权利要求2所述的方法， 其特 征在于， 所述编码模块 为解纠缠变换编码器结构。 4.根据权利要求3所述的方法， 其特征在于， 所述自适应凝视估计网络为一个多层感知 器； 所述多层感知器包括64个隐藏层神经 元和SELU激活层。 5.根据权利要求4所述的方法， 其特征在于， 根据多个训练图像及其对应的旋转解码图 像， 以及对应的潜在凝视特征， 通过元学习算法学习得到自适应凝视估计网络及其初始网 络权重， 包括： 获取多个训练图像、 其对应的旋转 解码图像， 以及对应的潜在凝 视特征作为训练样本； 以所述训练样本的训练损失最小化为目标， 通过元学习算法有随机梯度 下降算法对预 先设计的自适应凝 视估计网络进行训练， 得到自适应凝 视估计网络及其初始网络 权重。 6.根据权利要求5所述的方法， 其特征在于， 激活输出所述测试图像的三维注视方向向 量， 进而得到所述测试图像中人员的注视点信息， 包括： 激活输出所述测试图像的三维注视方向向量， 进而通过射线投影法得到所述测试图像 中人员的注视点信息 。 7.根据权利要求6所述的方法， 其特征在于， 通过射线投影法得到所述测试图像中人员 的注视点信息， 包括： 获取人员的双眼中心位置作为起点， 以所述三维注视方向向量为方向， 向相机坐标系 发出射线； 根据所述 射线与所述相机坐标系xOy平面的交点得到人员的注视点信息 。权　利　要　求　书 1/2 页 2 CN 115131731 A 28.一种注视点估计装置， 其特 征在于， 所述装置包括： 预处理模块， 用于获取人员的凝视图像， 对所述凝视图像进行预处理得到训练图像， 将 所述训练图像输入预先设计的编 码‑解码网络中； 所述编 码‑解码网络包括编码模块和解码 模块； 所述训练图像包括人员的注视方向标签； 潜在特征学习模块， 用于通过所述编码模块对所述训练图像进行处理， 得到所述训练 图像的潜在空间代码； 所述潜在空间代码包括外观特征代码、 凝视特征代码和头部姿势代 码； 对所述凝视特征代码和所述头部姿势代码进行显式旋转， 根据显式旋转后的潜在空间 代码通过所述解码模块得到所述训练图像的旋转解码图像， 根据所述训练图像和所述旋转 解码图像学习具有旋转意识的潜在凝视特征； 所述旋转解码图像中人员的注视方向与所述 训练图像不同； 自适应凝视估计网络学习模块， 用于根据多个训练图像、 其对应的旋转解码图像， 以及 对应的潜在凝 视特征， 通过元学习算法学习得到自适应凝 视估计网络及其初始网络 权重； 特定凝视估计网络校准模块， 用于获取待检测人员的校准图像信息， 通过所述校准图 像信息对所述初始网络权重进行调整， 得到特定于待检测人员的特定凝视估计网络； 所述 校准图像信息包括所述待检测人员的两张标注了不同注视方向的图像； 注视点估计模块， 用于获取所述待检测人员的测试图像， 将所述测试图像输入所述特 定凝视估计网络中， 激活输出所述测试图像的三维注视方向向量， 进而得到所述测试图像 中人员的注视点信息 。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115131731 A 3