(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211158285.2 (22)申请日 2022.09.22 (71)申请人 深圳市睿拓新科技有限公司 地址 518101 广东省深圳市宝安区新 安街 道海旺社区N23区熙龙湾商务国际大 厦708 (72)发明人 庄振英　 (74)专利代理 机构 深圳锴权知识产权代理事务 所(普通合伙) 44825 专利代理师 李锦 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G10L 25/51(2013.01)G08B 21/24(2006.01) G08B 7/06(2006.01) G08B 25/08(2006.01) G08B 25/10(2006.01) H04L 67/1097(2022.01) H04L 67/12(2022.01) (54)发明名称 基于场景识别的违章作业行为检测方法及 系统 (57)摘要 本发明涉及场景识别领域， 且公开了一种基 于场景识别的违章作业行为检测方法及系统方 法， 所述系统包括： 控制模块， 用于总控场景识别 的运行， 作为核心控制端， 进行指令的编辑与递 交； 存储端， 用于存储采集、 分析与处理数据， 同 步上传至云端服务器备份； 录制模块， 用以作为 图像摄录部件， 在触发启动后， 各个分线实时录 制对应区域的图像与音频。 本发明通过在使用 时， 同步获取图像数据与音频数据， 并实时进行 双向的检测， 判断是否存在违规处， 并对存疑数 据可交由人工进行核验， 进一步缺乏检测的准确 性， 大大提升对违规作业的打击力度， 规避传统 场景识别法识别精度低、 识别准确率差的情况， 具有良好的市场的前 景和优秀的社会前 景。 权利要求书3页 说明书10页 附图4页 CN 115240145 A 2022.10.25 CN 115240145 A 1.一种基于场景识别的违章作业行为检测系统， 其特 征在于： 包括： 控制模块 （1） ， 用于总控场景识别的运行， 作为核心控制端， 进行指令的编辑与递交； 存储端 （2） ， 用于存 储采集、 分析与处 理数据， 同步上传至云端服 务器备份； 录制模块 （3） ， 用以作为图像摄录部件， 在触发启动后， 各个分线实时录制对应区域的 图像与音频； 图像识别 模块 （4） ， 用以对各个分线所递交的图像数据利用灰阶差进行在线识别， 并且 统一进行分析； 行为判断模块 （5） ， 用以对所递交的图像数据进行行为判断， 结合数据库内错误行为数 据， 计算结果； 音频识别模块 （6） ， 用以对各个分线所递交的音频数据提取声纹特征后， 进行分析识 别； 音频判断模块 （7） ， 用以对所递交的音频数据进行音源与音量判断， 结合数据库内噪音 量标准进行比对， 输出 结果； 摘录暂存模块 （8） ， 用以对结果数据与存疑数据进行暂存留置， 在所有获取数据处理完 毕后， 向下发送； 验证模块 （9） ， 用以对 存疑数据进行全部验证， 对结果数据进行随机抽验； 格式转化模块 （10） ， 用以对递交数据进行格式转 化， 配置适配的格式； 阈值裁定模块 （1 1） ， 用以判断获取 数据对应数据库的报警等级， 进行裁 定指令的发送； 警报提醒模块 （12） ， 用以根据裁 定指令在控制室内进行对应等级的报警 警示。 2.根据权利要求1所述的一种基于场景识别的违章作业行为检测系统， 其特征在于： 所 述控制模块 （1） 通过介质电性连接有存储端 （2） ， 所述控制 模块 （1） 通过无线网络连接有录 制模块 （3） ， 所述录制模块 （3） 通过介质电性连接有 图像识别模块 （4） ， 所述图像识别模块 （4） 通过介质电性连接有行为判断模块 （5） ， 所述录制模块 （3） 通过介质电性连接有音频识 别模块 （6） ， 所述音 频识别模块 （6） 通过介质电性连接有音 频判断模块 （7） ， 所述行为判断模 块 （5） 与音 频判断模块 （7） 通过无线网络连接有摘录暂存模块 （8） ， 所述摘录暂存模块 （8） 通 过无线网络连接有验证模块 （9）， 所述验证模块 （9） 通过介质电性连接有格式转化模块 （10） ， 所述格式转化模块 （10） 通过无线网络连接有阈值裁定模块 （11） ， 所述阈值裁定模块 （11） 通过无线网络连接有警报提醒模块 （12） 。 3.根据权利要求1所述的一种基于场景识别的违章作业行为检测系统， 其特征在于： 所 述警报提醒模块 （12） 上部署有远程信息递交模块 （121） 、 在 线语音播报模块 （122） 和灯光警 示模块 （123） ， 其中： 远程信息递交模块 （121） ， 用以将报警数据以文字方式进行编辑进行发送至PC端与移 动端； 在线语音播报模块 （12 2） ， 用以将 报警数据进行语音翻译， 并在显示端 进行语音播报； 灯光警示模块 （123） ， 用以根据裁 定结果进行对应颜色灯光的闪烁 提醒。 4.根据权利要求1所述的一种基于场景识别的违章作业行为检测系统， 其特征在于： 所 述验证模块 （9） 上部署有调取模块 （91） 、 比对模块 （92） 和审核模块 （93） ， 所述调取模块 （91） 、 比对 模块 （92） 和审核模块 （93） 通过介质电性连接， 其中： 调取模块 （91） ， 用以调取存 储端 （2） 中相似度高的历史记录数据；权　利　要　求　书 1/3 页 2 CN 115240145 A 2比对模块 （92） ， 用以将历史记录数据与结果数据与存疑数据进行准确新的匹配； 审核模块 （93） ， 用以进行随机提取部分匹配结果， 人工后台审核匹配结果的合理性。 5.根据权利要求1所述的一种基于场景识别的违章作业行为检测系统， 其特征在于： 所 述图像识别模块 （4） 的工作流 程包括： A1： 获取信 息， 将声音和光等信息通过传感器向电信号转换， 并将其向计算机可识别的 信息转换； A2： 信息预处 理， 采用去噪、 变换及平 滑等操作对图像进行处 理； A3： 抽取及选择 特征， 分离别图像的特 征， 提取有用的特 征， 忽略无用的特 征； A4： 设计分类器及 分类决策， 根据训练对识别规则进行制定， 基于此识别规则得到特征 的主要种类， 再通过识别特殊特 征， 完成对图像的评价和 确认。 6.根据权利要求1所述的一种基于场景识别的违章作业行为检测系统， 其特征在于： 所 述录制模块 （3） 由控制模块 （1） 直接操控， 在触发启动后， 产生数据由存储端 （2） 实时保存， 输出结果传递至图像识别模块 （4） 和音频识别模块 （6） 。 7.根据权利要求1所述的一种基于场景识别的违章作业行为检测系统， 其特征在于： 所 述阈值裁 定模块 （1 1） 的阈值的设定方式， 包括人工手动 编辑和程序自动 编辑。 8.一种基于场景识别的违章作业行为检测方法， 其特 征在于： 包括以下步骤： Step1： 在检测现场划分检测区域， 在每 个区域布置拍摄部件； Step2： 调整图像识别与音频识别参数参数， 设定 裁定阈值； Step3： 启动 录制， 获取图像与音频进行识别分析， 判断是否存在违规， 对异常行为与疑 似异常行为数据进行截取， 在步骤中， 通过多粒度级联梯度评估算法实现异常行为数据的 评估； Step4： 对所截取 数据进行匹配验证， 人工进行随机复验； Step5： 转 化结果数据， 进行格式适配； Step6： 结合数据库数据分析， 裁 定数据所对应异常行为 等级； Step7： 根据对应异常行为等级， 进行远程报警信息的发送， 在线语音 的播报提醒和灯 光闪烁的提醒。 9.根据权利要求8所述的一种基于场景识别的违章作业行为检测方法， 其特征在于： 所 述步骤Step4中的人工随机复验 是有随机抽样模 型定量提取数据， 并进 行镜像复制， 在通过 后， 进行数据的向下递交； 所述步骤Step7中的远程报警信息即编辑对应异常行为文字描 述， 在线语音即对应异常行为语音 描述， 灯光即对应异常行为所代 表颜色灯光。 10.根据权利要求8所述的一种基于场景识别的违章作业行为检测方法， 其特征在于： 所述多粒度级联梯度评估算法工作方法为： 通过数据扫描对违章作业行为事 件参数进行监测， 其 参数表示 为：                            (1) 式(1)中， 表示场景识别环境下违章作业行为事件参数运行系数， 表示采集的违 章作业行为事件信息样本， 表示违章作业行为事件异常概率； i表示数据个 数， n表示计算 次数， 对参数系数进行分割， 从而建立多粒度扫描结构， 其分割函数为：权　利　要　求　书 2/3 页 3 CN 115240145 A 3