(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210376060.8 (22)申请日 2022.04.11 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 李海滨　芮峰　张文明　肖存军　 李雅倩　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 周胜欣 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的Fast -YOLO实时水母检测方 法 (57)摘要 本发明公开了基于深度学习的Fast ‑YOLO实 时水母检测方法， 通过收集真实环 境下水母图像 形成水母数据集， 并对数据集进行人工标注； 该 检测方法主要对YOLO ‑V4进行了不同程度的优 化， 使用深度可分离卷积替换原来的标准卷积； 采用自适应特征融合替换掉原来特征相加和拼 接运算； 采用局部跳跃连接加强特征融合； 采用 轻量化GhostNet主干网络； 采用改进后的算 法对 训练集进行训练得到模型权重， 进行水母实时检 测； 本发明的水母检测方法具有高精度、 轻量化、 耗时低的特点， 适用于移动端设备。 权利要求书2页 说明书5页 附图3页 CN 114863260 A 2022.08.05 CN 114863260 A 1.基于深度学习的Fast ‑YOLO实时水母检测方法， 其特 征在于： 包括如下步骤： C1： 制作水母数据集： 使用水下摄像机拍摄水母视频， 将视频转换成图像， 采用人工标 注数据集方式对水母图像进 行标注， 标注信息包括水母类别、 矩形框坐标信息， 其中图像与 标注信息一 一对应， 并将图像和标注信息组合 生成水母数据集； C2： 设计Fast ‑YOLO水母检测模型： 采用轻量化网络GhostNet作为主干特征提取网络； 采用深度可分离卷积降低模型参数量； 使用自适应特征融合和局部跳跃连接提高模型检测 精度； C3： Fast‑YOLO水母检测模型训练： 对水母图像、 标注信息在GPU服务器上进行训练， 保 存模型训练后的训练权 重； 训练时损失函数包括目标回归框损失L OSSobject、 目标置信度损失L OSSconf和目标分类损 失LOSScls； 假如回归框中含有目标， 则需要计算目标回归框损失、 目标置信度损失和目标分 类损失； 假如回归框中不含有目标， 则只需要目标置信度损失； 损失函数表达式为： LOSS(object)＝LOSSCIOU+LOSSconf+LOSScls 其中： k2表示卷积特征图尺寸； N表示先验框； λnoobj可调整权重系数； 表示若 第i网格的第 j先验框处有目标， 分别取值1和0， 若不含有目标， 分别取值0和1； ρ( ·)表述欧 式距离； C表示目标真实框和预测框最小闭包区域的对角线距离； bgt、 wgt、 hgt表示真实框的 中心坐标和宽高； 表示预测框和真实框的置信 度； 表示预测框和真实框的类 别概率； IOU表示预测框与真实框的交并比； γ为Focal  Loss的权重参数。 C4： 模型加载C3中的训练权重对测试集中的水母图像或者视频进行目标检测， 获得图 像或视频中水母的类别 信息和包 含水母的矩形框 。权　利　要　求　书 1/2 页 2 CN 114863260 A 22.根据权利要求1所述的基于深度学习的Fast ‑YOLO实时水母检测方法， 其特征在于： 所述步骤C1中指 定帧数转换的方式实现视频到图像的转换， 将视频转换成图像的方式为从 视频中每10帧获取一张包 含水母的图像。 3.根据权利要求2所述的基于深度学习的Fast ‑YOLO实时水母检测方法， 其特征在于： 收集真实场景下水母图像， 运行LabelImg， 对图像中的每个水母 人工绘制一个矩形框， 并对 其标签标注 为aurelia， 从而会生 成一个XML格式文件， 里面包含图像的尺 寸信息、 水母的位 置坐标信息和类别 信息， XML文件和图像一 一对应形成用于检测的水母数据集。 4.根据权利要求1所述的基于深度学习的Fast ‑YOLO实时水母检测方法， 其特征在于： 所述步骤C2中， 采用轻量化主干网络GhostNet替换掉参数量较大的CSPDarknet主干网络； 为增加模型检测精度， 设计了轻量化的自适应特征融合网络AF ‑PANet， 从GhostNet中卷积 通道数为80、 112、 160的最后一层构建AF ‑PANet网络进行特征融合； 为减少参数量， AF ‑ PANet采用深度可分离卷积方式， 同时通道数 统一设置为96， 并加入跳跃局部连接方式减少 特征语义信息 丢失。 5.根据权利要求1所述的基于深度学习的Fast ‑YOLO实时水母检测方法， 其特征在于： 所述步骤C3中， 将GitHub开源的YOLO ‑V4算法下载到GPU服务其中， 同时下载的GhostNet预 训练模型得到ghostnet.pth文件， 并将其放入model_data文件下； 将水母数据集上传GPU 服 务其中， 并放入data文件下； 对模型代码进行修改， 数据输入指向水母数据集； 模型权重指 向ghostnet.pth； 网络模型 改为C2所述的模型结构； 类别损失改为Focal  Loss； 在GPU服务 器终端运行t rain.oy文件进行网络模型训练； 在训练过程中， 首先将GhostNet主干网络参数冻结， 将AF ‑PANet网络参数使用 “Kaiming”初始化， 迭代多次后将放开全部模 型参数； 模 型会自动调用整个网络结构对 水母 图像进行特征提取和特征融合， 并将融合后的特征图传输到检测分支中的损失函数中计算 相应的类别、 位置和置信度信息， 由此模型完成了一次正向传播； 然后， 模型根据损失函数 的数值的动态变化自动调整模型结构 中的权重参数， 采用优化器将损失函数降到最小值； 整个算法在训练过程中会自动更新训练模型参数， 并将 每个批次的模型权重生成.pth文件 保存下来， 当损失函降至最小值时， 将趋 于不变值， 即完成Fast ‑YOLO的训练过程。 6.根据权利要求1所述的基于深度学习的Fast ‑YOLO实时水母检测方法， 其特征在于： 所述步骤C4中， 在水母检测的阶段， 模型首先自动将权重 分配相应的卷积核中， 将水母图像 统一缩放尺 寸为416×416的大小， 然后将缩放后得到的图像通过主干特征提取网络进 行水 母特征提取， 由于此时模型权重为C3训练出来的参数， 因此可以得到具有丰富语义信息的 特征， 将主干网络不同阶段的特征通过AF ‑PANet进行特征融合得到最优特征信息， 并将其 送入预测分支得到最终的预测结果。权　利　要　求　书 2/2 页 3 CN 114863260 A 3