(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211106417.7 (22)申请日 2022.09.21 (71)申请人 微力智能科技 （河南） 有限公司 地址 450000 河南省郑州市金 水区红专路 52号11-15 申请人 郑杰 (72)发明人 石琛　郑杰　 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) (54)发明名称 一种基于机器视觉的食品加工安全管理方 法及系统 (57)摘要 一种基于机器视觉的食品加工安全管理方 法及系统， 涉及食品加工行业的安全管理领域， 具体涉及一种基于人工智能技术的餐饮行业从 业人员行为安全 管理的方法及系统。 一种基于机 器视觉的食品加工安全管理方法及系统， 包括一 个行业级的云服务中心、 多个 餐馆级的边缘计算 设备、 若干个前端感知设备和一个行业管理APP。 系统以餐饮从业人员行为安全为研究对象， 按照 “定义目标行为 ‑对不安全行为进行观察和记录 ‑ 行为提醒 ‑评分奖惩 ”的步骤和流程， 建立了餐饮 行业的行为安全 方法， 对餐饮行业从业人员的不 安全行为进行纠正,使从业人员养成良好的食品 加工习惯和安全意识,促使形成较好的安全工作 环境,从而改善以餐饮行业的安全水平。 权利要求书4页 说明书9页 CN 115439935 A 2022.12.06 CN 115439935 A 1.一种基于机器视觉的食品加工安全管理方法及系统， 其特征在于， 包括一个行业级 的云服务中心、 多个餐馆级的边 缘计算设备、 若干个前端感知设备和一个行业管理AP P； 所述的前端感知 设备位于系统 的前端或接入端， 前端感知 设备包括直接通过线路连接 的固定感知设备和通过无线信号连接的移动感知设备， 视频图像采集模块用于获取食品加 工从业人员的不安全行为的视频及图片； 云计算中心位于系统的远端， 边缘计算中心位于 前端感知设备和云计算中心的之间， 行业管 理APP位于系统的应用端； 边缘计算中心具有食 品加工从业人员不安全行为自动识别功 能、 分类功 能及存储功能； 所述的云计算中心内具 有AI智能学习功能、 不安全行为识别模型训练功能和行为矫正精准干预功能， 不安全行为 识别模型训练功 能的平台通过导入来自厨房的前端感知设备收集的不安全行为实例的视 频图像数据集， 对不安全行为算法进行反复训练得不安全行为模型后， 直接把模型加载至 边缘计算中心， 从而对视频图像数据集进行人工智能分析， 智能识别出所训练的不安全行 为并分类和存储； 并对识别后的图像上进行样本标注， 一方面提供给人工智能模型训练平 台进行训练， 另一方 给行为矫正精准干预功能的平台提供 所需案例样本； 行为矫正精准干预功能的平台通过AI智能学习的方法中的数据挖掘、 统计分析明确不 安全行为与各工种岗位、 施工工序的多维度 交互后的干预节点， 实现对食品加工从业人员 行为矫正或个性 化培训， 达 到精准干预的目的。 2.根据权利要求1所述的一种基于AI技术的食 品加工从业人员行为安全管理矫正方法 及系统， 其特征在于， 所述的食品加工从业人员行为安全管理矫正方法及系统中采用采用 云边端网络系统， 云边端网络系统包括前端感知 层、 边缘计算层、 云计算层和智能应用层； 所述的前端感知层位于网络系统 的前端或接入端， 负责食 品加工现场视频图像数据采 集的网络传输； 所述的边缘计算层负责汇总各个前端感知设备送来的非结构化视频数据和物联网数 据， 并进行 预处理， 按既定规则触发相应动作， 同时将处 理结构及有关数据上传给云端； 所述的云计算层位于系统的远端， 云计算层负责全局信息的处理和存储， 承担边缘计 算层无法执行 的计算任务， 并向边缘计算层下发业务规则、 算法模型以及各类应用的开发 对接提供标准的API； 云计算层 还负责食品加工从业人员的行为矫正， 基于岗位工种及施工 工序的关键行为的监测结果确定靶向干预节点， 实现不 安全行为 二次干预及多次干预； 所述智能应用 层利用分析处理的结构化数据， 结合特定的业务需求和应用模型， 为用 户提供垂直的应用服 务。 3.根据权利要求1所述的一种基于机器视觉的食品加工安全管理方法及系统， 其特征 在于， 所述的云计算中心内设置有边缘管理模块、 视频云平台模块、 不安全行为识别平台模 块和物联网平台模块， 各个模块协同合作， 实现云计算中心的A I智能学习功能、 不安全行为 识别模型训练功能和行为 矫正精准干预功能。 4.根据权利要求3所述的一种基于机器视觉的食品加工安全管理方法及系统， 其特征 在于， 所述的边缘管理模块包括区域管理子模块、 组件管理子模块、 服务管理子模块、 服务 编排子模块， 以实现边 缘计算的资源监控功能； 所述的视频云平台模块包括视频存储子模块、 视频分发子模块、 视频处理子模块、 质量 诊断子模块， 以实现视频图像的结构化数据功能； 所述的不安全行为识别平台模块包括算法市场子模块、 模型训练子模块、 样本标注子权　利　要　求　书 1/4 页 2 CN 115439935 A 2模块、 模型分发子模块， 以实现模型算法的智能管理功能； 所述的物联网平台模块包括设备管理子模块、 连接管理子模块、 数据分析子模块、 数据 管理子模块， 规则引擎子模块、 用户管理子模块， 以实现对各类设备 管理功能。 5.根据权利要求1所述的一种基于机器视觉的食品加工安全管理方法及系统， 其特征 在于， 所述边缘计算中心内设置有边缘计算网络计算存储模块、 操作系统一体化平台模块、 Docker容器模块、 应用程序模块、 设备 管理模块、 调度管理模块； 所述的操作系统一体化平台模块包括网络子模块、 计算子模块、 存储子模块、 操作系统 子模块， 以实现边 缘计算支持平台功能； 所述的Docker容器模块， 以实现多个 应用程序在虚拟机轻巧、 模块 化使用； 所述的应用程序模块包括若干个不安全行为识别应用程序， 以实现对各种不安全行为 识别， 所述的设备 管理模块， 以实现对接入设备的管理功能； 所述的调度管理模块以实现任务调度功能， 包括云计算中心与边缘计算中心的任务调 度。 6.根据权利要求1所述的一种基于机器视觉的食品加工安全管理方法及系统， 其特征 在于， 所述不安全行为识别平台模块通过不安全行为模型训练方法进行模型训练， 其模型 训练方法包括如下： 步骤A1、 涉及食品不安全行为的分类： 食品加工人员在厨房的不安全行为分为8类共25 种， 针对以下25种不 安全行为列表进行统一编码或编号， 用于分类采集的图像数据； 步骤A2、 视频图像归集： 将部署在厨房的固定感知设备拍摄的视频图像及巡视员的移 动感知设备拍摄的现场照片进行归集； 步骤A3、 样本收集： 根据步骤A 1定义的不安全行为， 在预处理后的图像中收集不安全行 为正样本； 步骤A4、 图像正样本标注： 手动标注不安全行为案例的目标矩形框， 进行归一化处理并 保存目标矩形框的相关信息， 相关信息包括类别、 编码、 图片名称、 边框四角坐标； 步骤A5、 图像正样本存 储： 对标注的图像正样本进行存 储， 形成训练图像数据集； 步骤A6、 模型训练： 模型训练包括若干层卷积层和一些降采样、 非线性变换； 模型训练 时， 对训练的视频图像数据集进行一级一级的抽象化， 最终得到对训练之外的一些图像也 具有较强判别能力的模型特征； 输入视频图像经过一系列处理， 并且 经过卷积网络处理后， 有价值的信息得以保存， 冗余的信息被摒弃， 也即是图像特征被抽象化， 大量图像特征信息 的相互作用， 共同训练出一个模型输出； 步骤A7、 数据后处理： 对卷积网络得出的结果进行一些后处理和整理， 并储存， 以备下 一步骤用； 步骤A8、 反馈： 对卷积网络得出的权重进行调节的作用， 利用梯度下降法优化代价函 数， 从后向前逐级调整每一层卷积网络的权重， 从而使得输出模型 的泛化能力得到较大提 升； 步骤A9、 模型输出： 在不断的反馈、 模型训练和数据处理后， 优化方案， 得出最终模型结 果。 7.根据权利要求6所述的一种基于机器视觉的食品加工安全管理方法及系统， 其特征 在于， 所述人工智能学习功能的系统中， 智能识别出所训练的不安全 行为并分类和存储， 采权　利　要　求　书 2/4 页 3 CN 115439935 A 3