(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211238810.1 (22)申请日 2022.10.11 (71)申请人 济南大学 地址 250000 山东省济南市南 辛庄西路3 36 号 (72)发明人 李忠涛　刘圣勇　赵帅　程文轩　 袁朕鑫　肖鑫　姜琳琳　 (74)专利代理 机构 山东国诚精信专利代理事务 所(特殊普通 合伙) 37312 专利代理师 刘波 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于人体姿态识别的摇臂钻床违规操 作检测方法 (57)摘要 本发明公开了一种基于人体姿态识别的摇 臂钻床违规操作检测方法， 通过识别人体姿态， 获取人体关键关节点， 通过判断模块将关节点与 标记点进行逻辑判断， 能够识别出摇臂钻床开动 前工人是否进行检查摇臂钻床上的升降机构、 夹 紧机构、 电器系统等装置的操作； 识别摇臂钻床 开动后工 人触碰刀具和工作台区域、 隔着机床转 动部分传递或拿取工具等违规操作； 识别摇臂钻 床运转时工人离开工作区域的违规操作； 当发现 工人出现违规操作后会进行语音告警， 提醒工人 违反摇臂钻床安全操作规程， PLC模块控制摇臂 钻床停机操作， 并进行当前主摄像头与副摄像头 的影像记录， 可选择的通知安全 管理人员有工人 出现违规操作， 有效减少工人的违规操作， 提高 安全性。 权利要求书2页 说明书7页 附图7页 CN 115527169 A 2022.12.27 CN 115527169 A 1.一种基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在于： 包括姿态检测 计算设备(08)、 主摄像头(09)、 副摄像头(010)和PLC模块(011 )， 其中姿态检测计算设备 (08)内置集成有 姿态检测模型、 判断模块以及警告模块。 2.根据权利要求1所述的基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在 于， 包括以下步骤： 步骤一、 摄 像头安装： 在工作区域(07)斜上方安装主摄像头(09)， 用来拍 摄整个工作区域(07)， 在钻床摇臂 一侧安装副摄 像头(010)用来拍摄摇臂下区域(0 5)。 步骤二、 标记区域 坐标： 通过主摄像头(09)以及副摄像头(010)记录摇臂钻床升降机构(01)、 夹紧机构(02)、 电 器系统(03)、 工作台(04)、 摇臂下区域(05)、 刀具转动处(06)和工作区域(07)的二维坐标； 并将摇臂钻床升降机构设为P1、 夹紧机构设为P2、 电器系统设为P3、 工作区域设为G1、 刀 具 转动处设为G2、 工作台区域设为G3、 摇臂下区域设为G4。 步骤三、 获取 人体关节点 坐标： 判断模块处于一直运行状态， 一旦检测到人体的二维骨架关节点， 就判断脖子关节点 坐标是否在G1 内， 是即代表人员进入工作区域(07)， 启动一次摇臂钻床 工作检测流程； 此时 将主摄像头(09)以及副摄像头(010)采集的人体二维RGB图像信息通过姿态检测模型进行 工人姿态的检测， 获取工人关节点二 维坐标， 将这些关节点二维坐标记录为共享变量， 传递 给判断模块； 且该工人的关节点二维坐标随着主摄像头(09)以及副摄像头(010)获取的实 时视频进行实时更新。 步骤四、 标记人体关键关节点 坐标： 左手腕关节点设为PL、 右手腕关节点设为PR、 右手腕到右肘的直线设为XR、 左手腕到左 肘的直线设为XL、 鼻子 到脖子的直线设为XN、 脖 子到中臀的直线设为XH 。 步骤五、 标准工人操作摇臂关节图： 截取不同时间、 不同角度工作现场工人常规操作摇臂画面， 利用姿态检测计算设备 (08)实时采集视频数据中的关节 点信息， 制作脖子1、 右肩2、 右手肘3、 右手腕4、 左肩5、 左手 肘6、 左手腕7、 中臀8、 左膝盖13、 右膝盖10、 左脚踝14、 右脚踝11这12个节点坐标合集， 划定 12个圆形区域R1、 R2、 R3、 R4、 R5、 R6、 R7、 R8、 R9、 R10、 R11、 R12， 该圆形区域的半径9 0‑120px设 置为判断阈值， 从而形成标准工人操作摇臂关节图。 步骤六、 检测流 程判断： 将主摄像头(09)以及副摄像头(010)拍摄的每帧图像通过判断模块计算标记点右手腕 关节点PR分别到摇臂钻床升降机构P1、 夹紧机构P2以及电器系统P3的距离， 如果距离小于 设定阈值40 ‑70px， 即判定为工人进行了对摇臂钻床升降机构(01)、 夹紧机构(02)、 电器系 统(03)的检查操作。 步骤七、 工作违规检测： 摇臂钻床开启后， 检测工人左手腕关节点PL、 右手腕关节点PR有无出现在刀具转动处 区域G2、 工作台区域G3内， 由判断模块判断工人 是否出现违规操作。 摇臂钻床开启时， 检测工人右手腕到右肘的直线XR、 左手腕到左肘的直线XL， 侵入摇臂 下区域G4的范围是否超过阈值60 ‑80px。 摇臂钻床开启时， 检测工人鼻子到脖子的直线XN、权　利　要　求　书 1/2 页 2 CN 115527169 A 2脖子到中臀的直线XH是否位于 工作区域G1内。 摇臂钻床开启时， 利用姿态检测计算设备(08)实时采集数据中的关节点信息， 提取脖 子1、 右肩2、 右手肘3、 右手腕4、 左肩5、 左手肘6、 左手腕7、 中臀8、 左膝盖13、 右膝盖10、 左脚 踝14、 右脚踝11这 12个节点坐标， 并将其与步骤5中得到的标准工人操作摇臂关节图进 行对 比， 判断工人 是否常规操作摇臂。 当上述检测判断工人出现违规或操作异常的情况下PLC模块(011)会对摇臂钻床进行 停机操作， 此时警告模块会对工人进 行语音警告， 并记录违规画 面， 并可以将 违规信息发送 给安全管理人员。 步骤八、 结束检测流 程： 摇臂钻床停机后， 如果检测工人鼻子到脖子的直线XN、 脖子到中臀的直线XH不在G1区 域内超过阈值20 ‑40分钟， 本次工作检测流 程结束， 等待下一次工作流 程重新开启。 3.根据权利要求2所述的基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在 于： 步骤六中判断模块计算右手腕关节点PR标记点到P1、 P2、 P3的距离， 采用的具体方法例 如计算P1到PR距离X， 记录右手腕关节点PR(x1， y1)， P1(x2， y2)， 得： X＝((x1 ‑x2)^2+(y1 ‑ y2)^2)^(1/2)； 计算P2、 P3 到PR距离同上。 4.根据权利要求2所述的基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在 于： 步骤七中检测工人左手腕关节点PL以及右手腕关节 点PR有无出现在刀具转动处区域G2 和工作台区域G3内； 右手腕到右肘的直线XR、 左手腕到左肘的直线XL是否侵入摇臂下区域 G4； 检测工人鼻子到脖子的直线XN、 脖子到中臀的直线XH是否位于工作区域G1内； 三者所采 用的计算方法均为叉乘法。 5.根据权利要求2所述的基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在 于： 步骤五不进行判断的条件， 包括： 一次工作流程内， 只在首次摇臂钻床启动时进行步骤 五所述判断， 首次启动之后摇臂钻床停机与开动操作不再进行步骤五所述判断。 6.根据权利要求2所述的基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在 于： 步骤六不进 行判断的条件， 包括： 工作流程内工人手动停止摇臂钻床， 进 行更换刀具、 调 整工作台(04 )工件位置、 更换工作台(04 )上的刀具、 上厕所或者因故临时离开工作区域 (07)等行为时， 步骤六停止判断操作。 7.根据权利要求2所述的基于人体姿态识别的摇臂钻床违规操作检测方法， 其特征在 于： PLC模块(011)连接姿态检测计算设备(08)以及摇臂钻台， 具体为PLC模块(011)收到来 自姿态检测计算设备(08)中判断模块的指令， 对摇臂钻台进行控制。权　利　要　求　书 2/2 页 3 CN 115527169 A 3