(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116676.8 (22)申请日 2022.09.14 (71)申请人 南京晓庄学院 地址 211171 江苏省南京市江宁区弘景 大 道3601号 申请人 中通服咨询设计 研究院有限公司 (72)发明人 王奇珍　刘增祥　施健东　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/94(2022.01) H04W 4/30(2018.01) G16Y 10/30(2020.01) G16Y 20/10(2020.01) G16Y 20/40(2020.01) G16Y 40/10(2020.01) G16Y 40/20(2020.01) G16Y 40/50(2020.01) (54)发明名称 一种基于图像识别的施工现场安全管理辅 助决策系统 (57)摘要 一种基于图像识别的施工现场安全管理辅 助决策系统， 包括前端 图像采集与信息输入、 传 输网络、 GPU图像与数据处理以及施工现场安全 管理辅助决策结果输出与显示部分； 系统通过传 输网络部分进行信息交互； 前端图像采集与信息 输入部分包括计算机图像采集与信息输入终端 和/或施工现场图像信息移动采集终端； GP U图像 与数据处理部分包括GPU图像与数据处理服务器 组、 施工现场图像特征库服务器、 施工现场安全 管理规则库服务器； GPU图像与数据处理服务器 组包括GPU图像处理服务器部分和数据处理服务 器部分； 施工现场安全管理辅助决策结果输出与 显示部分包括： 安全管理辅助决策输出终端、 辅 助决策结果输出打印设备、 辅助决策与安全管理 移动终端。 权利要求书3页 说明书9页 附图2页 CN 115497040 A 2022.12.20 CN 115497040 A 1.一种基于图像识别的施工现场 安全管理辅助决策系统， 其特征在于， 包括： 前端图像 采集与信息输入部分、 传输网络部分、 GPU图像与数据处理部分、 施工现场安全管理辅助决 策结果输出与显示部分； 系统的各部分之 间以及各系统内部通过传输网络部分进 行信息交 互； 前端图像采集与信息输入部分包括： 计算机 图像采集与信息输入终端和/或施工现场 图像信息移动采集终端； GPU图像与数据处理部分包括： GPU图像与数据处理服务器组、 施工现场图像特征库服 务器、 施工现场安全管理规则库服务器， 以及用于三者之间信息交互的内部网络设备； GPU 图像与数据处理服务器组包括： GPU图像处理服务器部分和数据处理服务器部分； GPU图像 处理服务器部分包括： 图像预处理模块； 图像识别分类模块； 对应人员类、 机具使用类和现 场环境类的各个图像识别检测子模块： 施工现场安全管理辅助决策结果输出与显示部分包括： 安全管理辅助决策输出终端、 辅助决策 结果输出打印设备、 辅助决策与安全管理移动终端； 在前端图像采集与信息 输入部分中： 施工现场的图像或照片通过计算机图像采集与信息输入终端进行加载导入到GPU图像 与数据处理部分， 和/或由施工现场图像信息移动采集终端进行图像信息采集并直接将图 像上传到GPU图像与数据处理部分； 同时， 图像或照片的基本属性信息、 施工工程项目的基 本信息以及安全管理的基本信息是通过前端图像采集与信息输入部分以手动方式进行信 息输入； 在GPU图像与数据处 理部分中： 施工现场图像特征库服务器的存储内容包括： 施工现场 安全管理 的人员类、 机具类、 现 场环境类的用于对构建图像识别分类模型进 行训练的训练集图像库； 用于对建立图像识别 分类模型进行测试的测试集图像库； 过程图像数据， 这些过程图像数据是GPU图像处理服务 器组对现场采集图像进行预处理的过程图像数据， GPU图像处理服务器组对人员、 机具、 现 场环境初步识别分类的过程图像数据， GPU图像处理服务器组根据安全 管理条目进 行人员、 机具、 现场环境图像识别运算的过程图像数据； 由所述图像识别 分类模型得到的图像识别 分类模块； 施工现场安全管理规则库服务器的存储内容包括： 结合施工现场 安全管理要求的施工 现场人员、 机具、 现场环境安全 管理规则； 通过施工现场安全 管理规则库服务器对工程项目 现场安全管理规则规 章进行信息 输入、 查询、 修改、 管理； GPU图像与数据处理服务器组的数据处理服务器部分根据其前置的图像识别分类模块 的检测结果， 与安全管理规则中的安全管理条目进行规则匹配， 并结合其它决策因素进行 安全管理辅助决策； 在施工现场安全管理辅助决策 结果输出与显示部分中： 呈现施工现场安全检查采集图像自动识别与合 规性判定的安全管理结果。 2.根据权利要求1所述的基于图像识别的施工现场安全管理辅助决策系统， 其特征是 传输网络部分包括： 系统的各部分之间以及各部分内部之间进行数据通信的有线线路、 无 线网络以及网络交 互设备。 3.根据权利要求1所述的基于图像识别的施工现场安全管理辅助决策系统， 其特征是权　利　要　求　书 1/3 页 2 CN 115497040 A 2在GPU图像与数据处 理服务器组中进行如下处 理： 步骤1)基于施工现场图像特征库服务器中的存储内容， 构 建采用Fast  R‑CNN算法的快 速多物体检测图像识别分类模型； 利用训练集和测试集图像进行模型训练和评估； 经过修 正与调整得到用于进行 人员、 机具使用、 现场环境进行识别分类的图像识别分类模块； 基于施工现场图像特征库服务器中的存储内容以及图像识别算法， 分别构建如下检测 子模块： 进行人脸、 安全帽、 反光衣、 劳保鞋、 安全绳的人员类图像进行安全管理合规性识别的 检测模块； 进行施工现场电动工具作业、 电焊作业、 吊装设备、 吊装作业的机具使用类图像安全管 理合规性识别的检测模块； 进行施工现场抽烟、 灭火器设置、 临边防护、 现场垃圾未清的现场环境类图像安全管理 合规性识别的检测模块； 步骤2)对前端图像采集与信息输入部分采集的施工现场图像进行预处理， 将图像调整 为统一的格式和尺寸， 对图像进行去噪、 灰度化、 几何变换和图像增强处 理； 步骤3)利用步骤1)构 建的图像识别分类模块对步骤2)得到图像按照人员类、 机具使用 类、 现场环境类进行识别分类， 并将结果存 储于施工现场图像特 征库服务器； 步骤4)各个检测子模块对前置的图像识别分类模块分类后的图像进行安全管理合规 性识别， 根据识别结果与施工现场安全管理规则库服务器的存储内容进行信息匹配， 并将 结果输出至数据处 理服务器部分。 4.根据权利要求3所述的基于图像识别的施工现场安全管理辅助决策系统， 其特征是 在人员类图像进 行安全管理合规性识别的检测模块包括人脸检测识别模块； 安全帽检测模 块、 反光衣检测模块、 劳保鞋检测模块和安全绳检测模块； 人员类图像经人脸检测 识别模块对图像中的人脸进行识别， 提取当前图像中人员的身 份信息； 然后依次通过安全帽、 反光衣、 劳保鞋、 安全绳检测模块分别进行安全管理合规性判 定； 判定结果输出至数据处理服务器部分， 由其中的施工现场 安全管理辅助决策信 息归集 与处理模块进行信息汇集与整合。 5.根据权利要求3所述的基于图像识别的施工现场安全管理辅助决策系统， 其特征是 在机具使用类图像安全管理合 规性识别的检测模块中： 通过对施工现场采集的机具使用类相关图像进行识别， 结合施工机具安全规则进行安 全管理合 规性判定； 判定结果输出至数据处理服务器部分， 由其中的施工现场 安全管理辅助决策信 息归集 与处理模块进行信息汇集与整合。 6.根据权利要求3所述的基于图像识别的施工现场安全管理辅助决策系统， 其特征是 在现场环境类图像安全管理合 规性识别的检测模块中： 对采集的施工现场环境类图像进行图像识别， 结合施工场景安全规则进行安全管理合 规性判定， 根据安全违规情况和安全管理规则进行安全管理合 规性判定； 判定结果输出至数据处理服务器部分， 由其中的施工现场 安全管理辅助决策信 息归集权　利　要　求　书 2/3 页 3 CN 115497040 A 3