(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211345045.3 (22)申请日 2022.10.31 (71)申请人 江苏理工学院 地址 213011 江苏省常州市中吴大道1801 号 (72)发明人 王嘉诚　戴广武　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杭行 (51)Int.Cl. A61G 5/10(2006.01) A61B 5/00(2006.01) A61B 5/11(2006.01) G06V 10/12(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) (54)发明名称 一种基于计算机视觉的轮椅用户健康监测 系统及其检测网络的训练方法 (57)摘要 本发明公开了一种基于计算机视觉的轮椅 用户健康 监测系统及其检测网络的训练方法， 该 系统包括用于记录监测对象动作的采集模块； 用 于提取采集视频中的动作特征、 进行分类、 输出 检测结果的检测模块； 以及用于在轮椅用户异常 情况下向紧急联络人报警或向周围人员发出警 告的报警模块； 模块采集用户动作信息发送到检 测模块， 检测模块检测采集模块输入的视频， 并 预测用户实时的姿态和动作， 姿态和动作认为异 常时向报警模块输入报警信号。 本发 明通过轮椅 用户健康监测系统设置采集模块、 报警模块、 检 测模块和云端服务器， 能保证在用户异常状态下 及时发出危险警告， 从而极大减少监护人员的监 护压力， 面对多个需要监测用户时提升监护效率 和减少人工成本 。 权利要求书2页 说明书5页 附图2页 CN 115501050 A 2022.12.23 CN 115501050 A 1.一种基于计算机视觉的轮椅用户健康监测系统， 其特征在于： 所述系统包括采集模 块、 报警模块、 检测模块和云端服 务器； 所述采集模块用于记录监测对象的动作； 所述检测模块利用检测网络来提取采集视频中的动作 特征然后进行分类， 最后输出检 测结果； 以及实现更新检测网络； 所述报警模块用于在轮 椅用户异常情况 下向紧急联络人报警或向周围人员发出警告； 所述采集模块采集用户动作信息发送到检测模块， 检测模块检测采集模块输入的视 频， 并预测用户实时的姿态和动作， 姿态和动作认为异常时向报警模块输入报警信号。 2.根据权利要求1所述的一种基于计算机视觉的轮椅用户健康监测系统， 其特征在于： 所述采集模块包括： 摄像头模组， 用于拍摄用户上半身视频图像； 升降机构， 用于实现摄 像头在轮 椅扶手处的升降； 驱动电机， 用于驱动升降机构和摄 像头； 所述升降机构与轮椅扶手支撑杆内壁连接， 驱动电机 固定安装于所述轮椅扶手支撑杆 腔内； 所述摄 像头模组安装在升降机构内和驱动电机相连， 摄 像头模组包括摄 像头。 3.根据权利要求1所述的一种基于计算机视觉的轮椅用户健康监测系统， 其特征在于： 所述检测模块包括： 单片机， 单片机安装在轮椅扶手支撑柱的内部， 接收采集模块的视频数据， 并根据检测 模块的检测结果下达指令给报警模块； 算法模型， 算法模型包括时序动作检测算法SSAD， 时序动作检测算法SSAD由云端计算 机训练好后将模型移植在单片机上， 单片机采用NPU芯片； 数据处理脚本， 数据处理脚本用于更新网络参数， 根据检测网络预测到的动作类别和 动作起始终止时间， 截取原视频片段并写入标签上传至云端； 4G模块， 4G模块用于实现数据处 理脚本在云端和客户端之间的数据上传下 载； 所述数据处 理脚本移植在单片机 。 4.根据权利要求1所述的一种基于计算机视觉的轮椅用户健康监测系统， 其特征在于： 所述报警模块包括： 固态继电器， 固态继电器接收检测模块的信号， 用于控制整个报警模块的供电； 有源蜂鸣器， 有源蜂鸣器用于在用户危险时发出警报声响， 提 示周围人员注意； GSM模块，  GSM模块用于在危险情况 下给紧急联信人发信。 5.根据权利要求 4所述的一种基于计算机 视觉的轮椅用户健康监测系统， 其特 征在于： 所述GSM模块用于在危险情况下给紧急联信人发信， 发信内容包括危险原因和轮椅所 在地址。 6.根据权利要求1 ‑5任意一项所述的一种基于计算机视觉的轮椅用户健康监测系统的 检测网络的训练方法， 其特 征在于： 该 方法包括以下步骤： 步骤 （1） ： 收集轮椅用户的异常行为视频和图像数据， 制作云端训练的数据集， 训练网 络模型； 所述网络模型为S SAD卷积神经网络； 步骤 （2） ： 通过数据处理脚本将检测模块检测到的本地低置信度的异常行为数据， 送至 云端服务器， 经人工确认和校正视频片段的标签后， 将确定的异常数据进行数据增强后归权　利　要　求　书 1/2 页 2 CN 115501050 A 2于其所属的分类数据集中， 和原有的数据集进行融合制成新的融合数据集； 步骤 （3） ： 将融合数据集 放入对SSAD卷积神经网络进行训练； 步骤 （4） ： 通过 数据处理脚本更新本地的网络参数， 完成本地的网络模型迭代。 7.根据权利要求6所述的一种基于计算机视觉的轮椅用户健康监测系统的检测网络的 训练方法， 其特 征在于： 所述数据增强具体操作如下： 给定输入图像， 使用显著性检测技术生成关于 图像的显著性检测图， 在显著性图中找 到显著性强度最大的1个像素点， 以这个像素点作为中心 坐标， 之后在中心 坐标周围生 成一 块显著性裁剪区域， 这个裁剪区域即为显著性映射图的峰值区域， 将这块显著性峰值区域 进行裁剪， 输出增强样本 。 8.根据权利要求6所述的一种基于计算机视觉的轮椅用户健康监测系统的检测网络的 训练方法， 其特征在于： 所述步骤 （3） 中将融合数据集放入对SSAD卷积神经网络进行训练， 具体包括如下操作： 步骤 （3‑1）： 采集的视频或图像进入动作分类器， spatial  network、 temporal   network、 c3d  network进行片段分类； spatial  network对单张视频进行片段分类， 输出概 率结果 ； temporal  network对10帧堆叠的光流数据进行片段分类， 输出概率结果 ； c3d network对于16帧堆叠的图像数据进行片段分类， 输出概 率结果 ； 步骤 （3‑2） ： 将分类后的图像进入SAS特征进行特征提取形成SAS特征序列， SAS特征 ； 步骤 （3‑3） ： 按先后顺序经过Base  layer、 Anchor  Layer输出特征图到Prediction   Layer， 最后输出 预测结果。 9.根据权利要求8所述的一种基于计算机视觉的轮椅用户健康监测系统的检测网络的 训练方法， 其特征在于： 所述步骤 （3 ‑1） 中采用迁移学习中Fine ‑tuning策略进行的线性分 类器步骤。 10.根据权利要求6所述的一种基于计算机视觉的轮椅用户健康监测系统的检测网络 的训练方法， 其特征在于： 所述步骤 （3） 中将融合数据集放入对SSAD卷积神经网络进行训 练， 包括在训练时采用早停策略。权　利　要　求　书 2/2 页 3 CN 115501050 A 3