(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864957.5 (22)申请日 2022.07.21 (71)申请人 广州联客信息科技有限公司 地址 510640 广东省广州市天河区金颖路1 号1001、 1002、 1003室 申请人 广东省人民医院 (72)发明人 罗雀华　关山　陈彦丹　容典　 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) H04N 7/18(2006.01) (54)发明名称 一种医疗防护用品穿脱消毒视频AI监测方 法及装置 (57)摘要 本发明适用于医疗防护领域， 提供了一种医 疗防护用品穿脱消毒视频AI监测方法及装置， 所 述方法包括： 计算机处理设备通过动作识别模块 对医务人员的穿戴和洗手图像视频数据进行动 作识别， 获取医务人员的动作特征数据； 计算机 处理设备通过视频AI模块对医务人员的动作特 征数据进行视频AI分析， 判断动作集合所属类 型， 选择该类型对应的算法进行规范性判断； 使 用所选择算法判断医务人员 是否出现不规范动 作； 当监测到不规范动作时， 计算机处理设备通 过动作预警模块向报警设备发送报警指令。 该监 测方法， 应用在发热门诊医务人员的防护上， 可 以实现对医务人员的穿脱消毒 进行监督。 权利要求书3页 说明书10页 附图4页 CN 115187911 A 2022.10.14 CN 115187911 A 1.一种医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述的监测方法包括以 下步骤： 视频监控器通过图像采集模块对医务人员进行拍摄， 获取医务人员的穿戴和洗手图像 视频数据； 计算机处理设备通过动作识别模块对医务人员的穿戴和洗手图像视频数据进行动作 识别， 获取医务人员的动作特 征数据； 计算机处理设备通过视频AI模块对医务人员的动作特征数据进行视频AI分析， 判断动 作集合所属类型， 选择 该类型对应的算法进行规范性判断； 使用所选择算法判断医务人员是否出现不 规范动作； 当监测到不规范动作时， 计算机处理设备通过动作预警模块向报警设备发送报警指 令。 2.根据权利要求1所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述视 频监控器通过图像采集模块对医务人员进 行拍摄， 获取医务人员的穿戴和洗手图像视频数 据的步骤 包括： 根据医务人员在视频监控器前的期间内， 视频监控器获取对该期间内穿戴和洗手的医 务人员拍摄后所采集的图像， 得到医务人员的穿戴和洗手图像视频 数据。 3.根据权利要求2所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述计 算机处理设备通过动作 识别模块对医务人员的穿戴和洗手图像视频数据进 行动作识别， 获 取医务人员的动作特 征数据的步骤 包括： 所述视频监控器所获取的医务人员拍摄采集图像中所识别到的每一医务人员动作数 据进行检索对应； 若未在所述计算机处理设备的已知动作 数据库内检索到， 则将该医务人员的动作 标记 为未知动作， 并将所述未知动作录入至所述计算机设备的未知动作数据库中。 4.根据权利要求3所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述判 断医务人员是否出现不 规范动作的步骤 包括： 提取所述医务人员图像数据中的动作特征数据， 并对待识别的动作 特征数据进行预处 理， 消除背景， 获取其中的人体动作区域； 记录所述人体动作区域中人体动作的几何特征值， 并给每个所述几何特征值进行标 记； 在进行规范判断前， 需要对图像视频进行分类， 以选择不同的算法对图像视频是否规 范进行判断， 采用时序动作检测模型BMN判断医务人员穿戴、 脱除动作是否规范， 采用时空 动作检测模型Sl owFast判断医务人员洗手动作是否规范。 5.根据权利要求4所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述几 何特征值还包括目标部位的外观和位置， 其中， 所述目标部位包括人体躯 干、 头部和四肢。 6.根据权利要求5所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述当 监测到不规范动作时， 计算机处理设备通过动作预警模块向报警设备发送报警指 令的步骤 包括： 当所述计算机处理设备未在所述已知动作数据库内检索到医务人员的动作特征数据 时， 将该医务人员的动作标记为不规范动作， 生成报警文本信息， 将所述报警文本信息发送 至所述报警设备， 利用报警设备进行报警通知， 同时将所记录的该医务人员的所述动作特权　利　要　求　书 1/3 页 2 CN 115187911 A 2征数据传输 至报警设备以备 管理人员查询。 7.根据权利要求4所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 判断医 务人员的穿戴和洗手图像视频的动作过程结束的步骤 包括： 步骤S111： 输入当次医务人员穿脱消毒图像视频X ’， 使用训练集Ψp＝{tp}识别是否存 在起始动作 若存在则根据 判断X’的类型； 根据X’的类型选 择对应的算法， 同时启动对动作集合 Ψ’g的判断， 在本次判断结束前不 再识别是否存在起始动作 步骤S112： 对于 判断是否等于动作 以及动作持续时间是否等于d， 若等于则判断 下一个动作 以此类推； 步骤S113： 判断动作集合Ψ ’g的先后顺序及完整性， 即是否按照 的 顺序， 总的来说 即是否等于训练集Ψp； 步骤S114： 判断是否满足训练集Ψp， 若满足则提 示穿脱消毒流 程结束。 8.根据权利要求7所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 对医务 人员的穿戴和洗手图像视频的动作过程进行 预警的方法包括： 根据所述步骤S111， 若不满足起始动作等于 则不处理或提示医务人员可以开始进入 穿脱消毒流 程； 若满足则提 示医务人员穿脱消毒流 程开始； 根据所述步骤S112， 若单个动作 持续时间小于d已进入下一个动作 则告警前 一个动作 操作时间不足； 若单个动 作 持续时间大于或等于d则提示已完成本动 作 需要进入下一个动作 根据所述步骤S111、 所述步骤S112和所述步骤S113， 在穿脱消毒流程开始后， 对于动作 集合 第一， 发生动作 后， 出现无法判断的动作， 然后发生动作 第二， 发生动作 后， 没有发生动作 然后发生动作 第三， 发生动作 后， 其中， n＞1， 然后发生动作 则发出告警指示医务人员作下一 步处理； 根据所述步骤S114， 动作集合 Ψ’g满足训练集 Ψp， 包括最后一个动作等于 则提示整 个流程结束并向医务人员给 出下一步工作指示。 9.根据权利要求8所述的医疗防护用品穿脱消毒视频AI监测方法， 其特征在于， 所述 时 空动作检测采用SlowFast模型， 分为Slow和Fast两种采样率的路径； 两个路径分别输入视 频进行处理， Slow采样率的路径提取外观特征， 提取视频空间语义特征， size{T,S2,C}； Fast采样率的路径提取运动特征， 提取视频时域运动特征， size{α T,S2, β C}， 其中α ＞1， β ＜ 1； 然后将 两个路径的特征进行融合， 其中， 横向连接将Fast的特征融合到Slow路径， 使用3D 卷积对Fast特征进行卷积， 得到形状为{T,S2， 2β C}的特征， 对医护人员动作是否规范进行 识别。 10.一种用于实现如权利要求1 ‑9任一所述医疗 防护用品穿脱消毒视频AI监测方法的 监测装置， 其特 征在于， 所述 监测装置包括： 图像采集模块， 用于对医务人员进行拍摄， 获取医务人员的穿戴和洗手图像视频 数据； 动作识别模块， 用于对医务人员的穿戴和洗手图像视频数据进行动作识别， 获取医务 人员的动作特 征数据；权　利　要　求　书 2/3 页 3 CN 115187911 A 3