(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210176718.0 (22)申请日 2022.02.24 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 丁帅　柯震　岳子杰　陆璐　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 余罡 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/00(2006.01) A61B 5/0205(2006.01) (54)发明名称 非接触式多生理参数的同步检测方法和系 统 (57)摘要 本发明提供一种非接触式多生理参数的同 步检测方法、 系统、 存储介质和电子设备， 涉及生 理参数检测技术领域。 本发明中， 将第一时空特 征图、 第二时空特征图分别输入共享网络的两个 结构相同但 参数不共享的神经网络中， 分别获取 不同层次的特征提取图， 将相同层次的特征提取 图输入共享网络对应的特征融合块， 获取当前层 次的融合特征， 并分别输入各个子任务网络对应 的注意力模块中， 结合上一层注意力模块的输 出， 获取当前层注意力模块输出的任务相关特 征； 考虑到不同模态、 不同空间位置以及不同通 道的重要性， 可以有效的从大量级联特征中提取 出可靠且对任务有显著效果的特征， 提高算法性 能表现。 权利要求书2页 说明书10页 附图3页 CN 114694211 A 2022.07.01 CN 114694211 A 1.一种非接触式多生理参数的同步检测方法， 其特征在于， 预先构建一个带有注意力 机制的多任务网络架构， 该多任务网络架构包括共享网络和若干子任务网络； 所述同步检 测方法包括： S1、 分别采集受试者的可 见光视频和热红外 视频； S2、 预处理所述可见光视频和热红外视频， 获取所述可见光视频中人脸图像对应的第 一时空特 征图， 以及所述热红外 视频中人脸图像对应的第二时空特 征图； S3、 将所述第一时空特征图、 第二时空特征图分别输入所述共享网络的两个结构相同 但参数不共享的神经网络中， 分别获取不同层次的特 征提取图； S4、 将所述第一时空特征图、 第二时空特征图相同层次的特征提取图输入所述共享网 络对应的特 征融合块， 获取当前层次的融合特 征； S5、 将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中， 结合 上一层注意力模块的输出， 获取当前层注意力模块输出的任务相关特 征； S6、 将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融 合模块中， 获取多层次融合特 征， 预测对应的生理参数指标。 2.如权利要求1所述的同步检测方法， 其特 征在于， 所述S2包括： S21、 根据 所述可见光视频和热红外视频的图像序列， 分别 采用密集人脸对齐方法进行 所述受试者的人脸检测与面部关键点标记； S22、 确定受试者人脸图像的若干感兴趣区域， 分别提取所述可见光视频和热红外视频 每一帧图像序列对应的iP PG信号； S23、 按照时间顺序拼接所述 iPPG信号， 获取 所述第一时空特 征图和第二时空特 征图。 3.如权利要求1或者2所述的同步检测方法， 其特征在于， 所述S3中两个结构相同但参 数不共享的神经网络是指： 两个只保留了特征提取部 分， 舍弃池化层和全连接层Resnet ‑34 网络。 4.如权利要求3所述的同步检测方法， 其特征在于， 所述特征融合块包括两层深度 可分 离卷积层、 激活函数层、 压缩和激励网络模块； 所述S4包括： S41、 定义 和 分别表示所述第一时空特征图、 第二时空特征图第m层生成的 特征提取图， 连接所述 和 依次输入所述两层深度可分离卷积层和激活函数层， 获取当前层次对应的初步融合特 征； 其中， 表示级联操作， 表示哈达玛积； DSC_t表示第 t层深度可分离卷积， t 取1或者 2； ReLU表示激活函数； fm_m sm表示依次经 过模态注意和空间注意之后的初步融合特 征； S42、 将所述初步融合特征输入所述压缩和激励网络模块， 获取当前层次对应的所述融 合特征； fm_mscm＝fm_msm×SE(fm_msm) 其中， SE为所述压缩和激励网络模块； fm_m scm为经过通道加权后的所述融合特 征。 5.如权利要求 4所述的同步检测方法， 其特 征在于， 所述S5包括：权　利　要　求　书 1/2 页 2 CN 114694211 A 2对于任意任务u， 定义该任务u在第m层注意力模块中的注意力遮罩表示为 计 算第m层注意力模块中输出任务相关特 征： 其中， 均为带有批正则化和非线性激活层的卷积块； 和 用于生成注 意力遮罩； 的激活函数为sigmoid， 用于确保生成的注意力遮罩 如果 那么注意力遮罩遮罩变为 一个一致映射， 子任务采用全部融合特 征。 6.如权利要求5所述的同步检测方法， 其特 征在于， 所述S6中多层次融合特 征表示为： 其中， Conv、 fl均 为带有卷积层、 批正则化和非线性激活层的操作 块； M表示注意力 模块 的总层数。 7.如权利要求3所述的同步检测方法， 其特征在于， 所述多任务网络架构包括3个子任 务网络， 分别对应于回归预测心率、 血压和呼吸率3个子任务。 8.一种非接触式多生理参数的同步检测系统， 其特征在于， 预先构建一个带有注意力 机制的多任务网络架构， 该多任务网络架构包括共享网络和若干子任务网络； 所述同步检 测系统包括： 采集模块， 用于分别采集受试者的可 见光视频和热红外 视频； 预处理模块， 用于预处理所述可见光视频和热红外视频， 获取所述可见光视频中人脸 图像对应的第一时空特 征图， 以及所述热红外 视频中人脸图像对应的第二时空特 征图 提取模块， 用于将所述第一时空特征图、 第二时空特征图分别输入所述共享网络的两 个结构相同但参数不共享的神经网络中， 分别获取不同层次的特 征提取图； 融合模块， 用于将所述第一时空特征图、 第二时空特征图相同层次的特征提取图输入 所述共享网络对应的特 征融合块， 获取当前层次的融合特 征； 学习模块， 用于将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模 块中， 结合上一层注意力模块的输出， 获取当前层注意力模块输出的任务相关特 征； 预测模块， 用于将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多 层次特征融合模块中， 获取多层次融合特 征， 预测对应的生理参数指标。 9.一种存储介质， 其特征在于， 其存储有用于非接触式多生理参数的同步检测的计算 机程序， 其中， 所述计算机程序使得计算机执行如权利要求1～7任一项所述的同步检测方 法。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及 一个或多个程序， 其中所述一个或多个程序被存储在所述存储器中， 并且被配置成由 所述一个或多个处理器执行， 所述程序包括用于执行如权利要求 1～7任一项 所述的同步检 测方法。权　利　要　求　书 2/2 页 3 CN 114694211 A 3