(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210283028.5 (22)申请日 2022.03.22 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 王柏润　刘建博　张帅　伊帅　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 董文俊 (51)Int.Cl. G06V 40/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种活体 检测方法及相关 设备 (57)摘要 本申请提供了一种活体检测方法及相关设 备， 其中， 该方法包括： 根据检测对象同一时刻的 彩色RGB图像和近红外NIR图像， 得到RGB特征、 NIR特征、 第一隐层特征、 第二隐层特征及人脸的 位置编码； 基于第一隐层特征和第二隐层特征， 得到彩色RGB图像与近红外NIR图像的视差 特征； 根据RGB特征、 NIR特征、 位置编码和视差 特征， 得 到检测对象的活体检测结果。 本申请实施例有利 于提升活体 检测的精度。 权利要求书2页 说明书12页 附图4页 CN 114613017 A 2022.06.10 CN 114613017 A 1.一种活体 检测方法， 其特 征在于， 所述方法包括： 根据检测对象同一时刻的彩色RGB图像和近红外NIR图像， 得到RGB特征、 NIR特征、 第一 隐层特征、 第二隐层特 征及人脸的位置编码； 基于所述第一隐层特征和所述第二隐层特征， 得到所述彩色RGB图像与所述近红外NIR 图像的视 差特征； 根据所述RGB 特征、 所述NIR特征、 所述位置编码和所述视差特征， 得到所述检测对象的 活体检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一隐层特征和所述第 二隐 层特征， 得到所述彩色RGB图像与所述近红外N IR图像的视 差特征， 包括： 将所述第一隐层特征中每个位置对应的特征与所述第二隐层特征中每个位置对应的 特征进行拼接， 得到拼接特 征； 对所述拼接特征进行至少一 次线性变换和激活， 以及对至少一 次线性变换和激活得到 的特征进行线性变换， 得到注意力矩阵； 将所述注意力矩阵转化为目标特征， 并将所述目标特征确定为所述视差特征； 所述目 标特征的尺寸与所述彩色RGB图像、 所述近红外N IR图像的尺寸相同。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据检测对象同一时刻的彩色RGB 图像和近红外N IR图像， 得到人脸的位置编码， 包括： 获取所述彩色RGB图像中所述检测对象的人脸的第一检测框位置信息和所述近红外 NIR图像中所述检测对象的人脸的第二检测框位置信息； 对所述第一检测框位置信 息和所述第 二检测框位置信 息进行正弦位置编码， 得到所述 位置编码。 4.根据权利要求3所述的方法， 其特征在于， 在根据检测对象同一时刻的彩色RGB图像 和近红外NIR图像， 得到RGB特征、 NIR特征、 第一隐层特征、 第二隐层特征及人脸的位置编码 之前， 所述方法还 包括： 对所述彩色RGB图像进行 人脸检测， 得到所述第一检测框位置信息； 获取所述彩色RGB图像的第一深度信息； 基于所述第一深度信息和所述第一检测框位置信息， 得到第四检测框； 对于待匹配的多张近红外NIR图像， 对所述多张近红外NIR图像中的每张近红外NIR图 像进行人脸检测， 得到所述每张近红外N IR图像中的人脸的第三检测框位置信息； 获取所述每张近红外N IR图像的第二深度信息； 基于所述第二深度信息和所述第三检测框位置信息， 得到第五检测框； 将所述第五检测框中的待匹配人脸与所述第四检测框中包含的所述检测对象的人脸 进行匹配， 并从所述多张近红外N IR图像中确定所述近红外N IR图像。 5.根据权利 要求4所述的方法， 其特征在于， 所述彩色RGB图像是通过双目相机中的RGB 相机采集的， 所述第一检测框位置信息包括第一检测框的宽度和高度， 所述基于所述第一 深度信息和所述第一检测框位置信息， 得到第四检测框， 包括： 采用所述第 一深度信息、 所述第一检测框的宽度和所述RGB相机的焦距， 计算得到更新 的宽度； 采用所述第 一深度信息、 所述第一检测框的高度和所述RGB相机的焦距， 计算得到更新权　利　要　求　书 1/2 页 2 CN 114613017 A 2的高度； 将基于所述更新的宽度和所述更新的高度得到的矩形框， 确定为所述第四检测框 。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述根据所述RGB特征、 所述NIR 特征、 所述位置编码和所述视 差特征， 得到所述检测对象的活体 检测结果， 包括： 对所述位置编码进行插值， 得到与所述RGB特征、 所述NIR特征和所述视差特征尺寸相 同的位置特 征； 将所述RGB 特征、 所述NIR特征、 所述视差特征和所述位置特征拼接， 并对拼接得到的特 征进行分类， 得到所述活体 检测结果。 7.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 所述方法是通过预先训练的活体 检测模型执行的， 所述活体检测模型包括第一神经网络 分支、 第二神经网络 分支、 注意力网 络分支、 位置编码分支和分类器， 所述第一神经网络分支和所述第二神经网络分支分别与 所述注意力网络分支连接， 所述注意力网络分支的输出作为多层感知机的输入， 所述第一 神经网络分支、 所述第二神经网络分支、 所述多层感知机和所述位置编码分支的输出在拼 接后作为所述分类 器的输入。 8.一种活体检测装置， 其特征在于， 所述装置包括第 一处理单元、 第 二处理单元和活体 检测单元； 所述第一处理单元， 用于根据检测对象同一时刻的彩色RGB图像和近红外NIR图像， 得 到RGB特征、 NIR特征、 第一隐层特 征、 第二隐层特 征及人脸的位置编码； 所述第二处理单元， 用于基于所述第一 隐层特征和所述第二 隐层特征， 得到所述彩色 RGB图像与所述近红外N IR图像的视 差特征； 所述活体检测单元， 用于根据所述RGB特征、 所述NIR特征、 所述位置编码和所述视差特 征， 得到所述检测对象的活体 检测结果。 9.一种电子设备， 包括输入设备和输出设备， 其特 征在于， 还 包括： 处理器， 适于实现一条或多条指令； 以及， 计算机存储介质， 所述计算机存储介质存储有一条或多条指令， 所述一条或多条指令 适于由所述处 理器加载并执 行如权利要求1 ‑7中任一项所述的方法。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有一条或多条指令， 所述一条或多条指令适于由处 理器加载并执 行如权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114613017 A 3