(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210927443.X (22)申请日 2022.08.03 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 陈柯亘　张静朗　高艺　王旗龙　 杨柳　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 吴学颖 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) H04N 7/18(2006.01) (54)发明名称 一种基于改进YOLO v5的高空烟火检测方法 (57)摘要 本发明公开了一种基于改进YOLOv5的高空 烟火检测方法： 在多路高空摄像头视频流的情况 下应用多线程队列算法， 为每 路视频流设置一个 抽帧上传 线程， 并将所有线程的抽帧图片传入一 个无限长的队列中； 建立高空角度的烟火数据 集， 并进行数据清理和标注数据集工作； 修改 YOLOv5网络中的骨干网络， 将每个CSP结构后的 标准卷积层均替换为混合注意力模块； 设定训练 超参数， 基于第二步建立的烟火数据集， 对第三 步改进后的YOL Ov5网络进行训练， 训练完成得到 烟火检测模 型， 将第一步得到的图片输入烟火检 测模型中进行烟雾和火焰检测。 本发 明通过改进 后的目标识别算法提取视频流单帧完成对火灾 异常现象的检测。 权利要求书1页 说明书10页 附图3页 CN 115331141 A 2022.11.11 CN 115331141 A 1.一种基于改进YOLO  v5的高空烟火检测方法， 其特 征在于， 包括以下 过程： 第一步： 在多路高空摄像头视频流的情况下应用多线程队列算法， 为每路视频流设置 一个抽帧上传线程， 并将所有 线程的抽帧图片传入一个无限长的队列中； 第二步： 建立高空角度的烟火数据集， 并进行 数据清理和标注数据集工作； 第三步： 修改YOLO  v5网络中的骨干网络， 将每个CSP结构后的标准卷积层均替换为混 合注意力模块； 其中， 骨干 网络进行特征提取后， 接着应用Neck部分完成特征融合， 最后在Head部分利 用CIoU损失函数完成目标预测， 通过nms非极大值抑制算法从多个框内筛选出来最优的目 标框， 形成最终的检测结果； 第四步： 设定训练超参数， 基于第二步建立的烟火数据集， 对第三步改进后的YOLO  v5 网络进行训练， 训练完成得到烟火检测模型， 将第一步得到的图片输入烟火检测模型中进 行烟雾和火焰检测。 2.根据权利要求1所述的基于改进YOLO  v5的高空烟火检测方法， 其特征在于， 第一步 中确定视频流的路数， 并为不同的视频流创建不同的线程， 来保证各路视频流的图像上传 不会受到彼此的干扰； 此外， 根据视频流路数与YOLO  v5网络的检测时间， 对各路视频流的 抽帧间隔进行相应地调整。 3.根据权利要求1所述的基于改进YOLO  v5的高空烟火检测方法， 其特征在于， 第二步 中将初步 获取的烟火数据集图像进行数据 清理， 然后 将将符合高空角度的数据集图像转化 为jpg格式， 再使用标注工具 标注图像使其形成相应的xml文件。 4.根据权利要求1所述的基于改进YOLO  v5的高空烟火检测方法， 其特征在于， 第三步 中YOLO v5网络采用官方提供的预训练模型YOLO  v5l， YOLO  v5网络包括依次相连的骨干网 络、 Neck、 Head三个部分， 骨干网络主要由Focus结构和CSP结构组成， 它的作用是获取训练 图像或待识别图像的特征， 在每个CSP结构后面 都有一个标准卷积层， 将该标准卷积层替换 为混合注意力模块， 它是由通道 注意力模块和空间注意力模块各一个依次串联而成； Neck的结构是FPN+PAN， 进行特征融合， 并将计算过后的特征传递给Head部分； Head部 分的主体就是检测器， 在特征图上进 行网格化预测， 后续循环此步骤， 直到生成检测框的坐 标， 最后使用CI oU‑nms非极大值抑制方法去除多余的目标框后即可输出检测结果。 5.根据权利要求1所述的基于改进YOLO  v5的高空烟火检测方法， 其特征在于， 第四步 中超参数包括网络的深度和宽度， 以及learning_rate、 batch_size、 epoch、 使用的训练数 据集。权　利　要　求　书 1/1 页 2 CN 115331141 A 2一种基于改进Y OLO v5的高空烟火检测方 法 技术领域 [0001]本发明涉及神经网络、 图像识别技术， 属于图像处理和深度学习领域， 更具  体的 说， 是涉及一种基于改进YOLO  v5的高空烟火检测方法。 背景技术 [0002]申请号为CN202110589355.9， 发明名称为： 一种基于视频的烟火检测方法。  该发 明依次有图像获取、 图像组合、 烟火目标检测、 深度学习等步骤， 将三通道  彩色图像输入修 改为同一摄像头不同时间点的图像组合成的多通道图像， 采用多  种检测算法组成的联合 算法对烟火目标进行跟踪， 主 要用于安全监控。 [0003]该专利虽然使用了包含YOLO在内的多种检测算法， 但并没有对这些算法  的网络 结构做出改变， 只是优化了输入图片的通道数据信息， 并将多帧图像组合，  并不能从根本 上大幅提升烟火检测的准确率。 同时， 这种算法只考虑到了单个摄  像头视频流的烟火跟 踪， 但是在实际应用场景中， 算法需要面对多路视频流的情  况； 而发明中提到的跟踪方法 也存在一定局限性， 在烟火目标较小的高空角度，  这种跟踪方法的有效性并不能得到保 证。 [0004]烟火检测技术是火灾预防技术的重要内容。 近年来， 居民社区生活用火越发  频 繁， 工业电气设备更加复杂多样， 现有的传感检测设备越来越难以应对新的消  防形势， 因 此国内外学者对火灾检测进行了大量的研究， 取 得了重大进展。 [0005]现有的火灾检测算法大致上可分为两类： 基于特征模型和基于学习模型[1]。 前者 旨在分析火焰、 烟雾等特征， 通过总结火灾区域的特征规律， 实现火灾预警；  后者则是通过 智能算法获取一种具有学习能力的分类器或者特征提取模型。  Chen等通过对大量的火焰 进行统计分析[2]， 提出了基于颜色模型的火焰识别准  则， 但该算法仅仅考虑了颜色信息， 导致检测结果虚警率较高； Dimit等则利用  火焰的动态跳动的特征[3]， 提出了基于小波时 频特性的火焰边界检测模 型； 为了 实现早期预警， Tore等利用火灾早期具有 大量烟雾的特 性[4]， 提出了基于烟雾模  型的火灾预警。 [0006]随着目标检测技术的迅速发展， 传统方法中单一特征识别难以达到较高的准  确 率， 通过烟火目标的高级 特征进行烟雾和火焰判断是更为有效的方法， 但目前  仍面临着诸 多挑战。 [0007]由于存在一些非受控条件， 特定方法无法适应复杂多变的高空摄像头场景。  不同 光照会导致物体边缘及其阴影发生变化， 影响成像品质以及图像处理效果[9]； 目标有遮挡 情况， 会导致模型识别全局特征困难， 造成较大检测误差[10]； 同类目 标不同角度的实例之 间颜色、 纹 理等外观信息 差别很大， 导 致目标识别不 准确。 [0008]大多数算法对于小目标检测的准确率较低， 存在漏判误判的情况。 尽管基于  深度 学习的目标检测技术已经逐渐替代传统的人工提取特征方式成为主流， 但在  小目标的检 测方面仍然有进步 的空间[11]， 出现该问题的原因包含分辨率低、 图像  模糊、 信息少、 噪声 多； 使用图像数据增强技术可以产生一定效果， 然而很多研  究表明原数据的图像处理效果说　明　书 1/10 页 3 CN 115331141 A 3