(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230844.6 (22)申请日 2022.10.10 (71)申请人 青岛浩海网络科技股份有限公司 地址 266111 山东省青岛市高新区宝源路 821号 (72)发明人 逄增辉　周继磊　赵文太　黄家兴　 孙晓燕　柳燕　王夏青　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 贺敬虹 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的行人危险行为识别方 法 (57)摘要 本发明公开了一种基于深度学习的行人危 险行为识别方法， 属于机器学习领域， 结合 yolov5s网络模型， 采用垂直旋转数据增 强方法 对数据集进行扩展； 采用通道注 意力机制模块对 卷积得到的特征图进行处理； 在yolov5s算法中 增加小目标检测层， 提高目标检测 效果； 通过对 监控视频图像的智能分析， 实时监测不安全因 素， 从监控视频中识别出具有安全隐患的危险行 为， 并在事中实时告警、 提醒管理人员， 杜绝安全 事件的发生， 本发明危险行为识别方法同时可以 应用到其他行业例如矿区和交通路口等需要进 行目标检测的位置 。 权利要求书2页 说明书5页 附图3页 CN 115294661 A 2022.11.04 CN 115294661 A 1.一种基于深度学习的行 人危险行为识别方法， 其特 征在于： 包括如下步骤： 步骤1， 采集行人图像及危险行为图像生成数据集， 利用数据集生成行人检测模型和危 险行为检测模型； 步骤2， 将监控 装置监控得到的视频 数据按帧图像分解 为图像矩阵数据； 步骤3， 利用yo lov5s模型主干网络对输入端输入数据进行 数据增强； 步骤4， 利用yo lov5s模型主干网络Backbo ne对数据进行初步特 征提取； 步骤5， 对图像进行综合分析， 当综合分析超过预设数值， 则确定行人存在危险行为， 将 信息推送至报警平台发出警报； 否则不做处 理； 步骤4中特 征提取具体包括： 步骤4.1， 改进主干网络Backbone的整体结构， 在yolov5s骨干网 阶段设置SE ‑Net模块， 提取高重点区域的权 重值， 降低不相关区域的权 重值； 步骤4.2， 改进颈部网络neck增加小目标检测层yolov5s ‑STD， 在基于原始模型的三个 初始锚点 值之外， 添加一组额外的锚点 值， 用于检测较小目标。 2.根据权利要求1所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述步骤1具体包括： 步骤1.1， 收集行人图像， 对行人图像中行人对应的部分图像进行标记， 获取第一标记 信息， 将行 人图像和第一标记信息， 构成第一数据集； 步骤1.2， 收集危险行为图像， 对用以指示行为危险行为的动作图像进行标记， 获取第 二标记信息， 将有危险行为图像和第二标记信息构成第二数据集； 步骤1.3， 利用第一数据集对第一目标检测模型进行训练， 得到行 人检测模型； 步骤1.4， 利用第二数据集对第二目标检测模型进行训练， 得到危险行为检测模型； 步骤1.5， 利用所有训练样本和标注信息， 基于深度学习的原 理训练得到一个目标检测 深度卷积神经网络 。 3.根据权利要求1所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述步骤3中数据增强具体为： yolov5 s网络模型输入端使用马赛克数据增强， 每次读取4张图 片， 分别进行大小缩放、 色彩明度灰度的变化和增加90 °垂直旋转变换， 变换后的图像按照 读取顺序摆放在1张大图像的左上角、 左下角、 右下角和右上角四个位置， 然后进行图像和 目标框匹配， 超 出的部分进行切割， 利用Rectangular方法为了图像到达预定的输入尺 寸进 行黑边填充。 4.根据权利要求1所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述步骤4中Backb one包括C3和SPP结构， 所述C3结构将输入进来的的数据进行分割， 一部分 参与denseNet操作， 另外一部分与上一步处理后得到的特征图像进行拼接， 经过一次卷积 得到输出结果； 所述SPP结构中padding和步长， 将3个并行的最大池化替换为串行， 并且池 化核全部修改为 一样大小。 5.根据权利要求1所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述步骤4.1中SE ‑Net模块包括 挤压操作、 激活操作。 6.根据权利要求5所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述挤压操作具体为： 给定一个输入U， U∈RH*W*C通过挤压操作得到一个输出Z， Z∈R1*1*C， 挤压 操作采用全局池化将每个通道上对应的空间信息压缩到对应通道中， 其数值变为1个数值，权　利　要　求　书 1/2 页 2 CN 115294661 A 2此时1个像素表示 一个通道， 最终 维度变成1*1* C， 具体公式为： 其中， Z表示 挤压操作输出的数据， H表示 通道长， W表示 通道宽， 表示特定 输入值。 7.根据权利要求6所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述激活操作具体为： 将挤压操作输出的Z， Z∈R1*1*C， 经过两个全连接层， 将两个全连接层增 加非线性能力并实现跨通道之间的交互作用， 由ReLU函数激活， 再由全连接层生成原始特 征维度， 然后通过Sigmoid函数将其转换为 从0到1的归一化权重， 将加权后的特征图输入到 下一层网络中， 公式如下 所示： 其中， s为激活操作输出 的权重值， 是ReLU激活函数， 是Sigmoid激活函数， W1表示全 连接层1， Z为 挤压操作输出的数据， W2表示全连接层2， 表示非线性单 元输入值。 8.根据权利要求1所述的一种基于深度 学习的行人危险行为识别方法， 其特征在于， 所 述步骤4.2小目标检测层yolov5s ‑STD使用上下文特征融合结构， 在颈部网络的第17层， 对 特征图进 行上采样操作， 使 特征图继续扩展， 在第20层， 将 颈部网络得到的特征图与主干网 络提取的特征图进行融合， 在第31层增加预测段的小目标监测层， 对输出的特征图共使用 了四个检测层。权　利　要　求　书 2/2 页 3 CN 115294661 A 3