(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087915.1 (22)申请日 2022.09.05 (71)申请人 新疆海纳同创智能科技有限公司 地址 834000 新疆维吾尔自治区克拉玛依 市克拉玛依区丰源路3 5-826至827号 (72)发明人 李言章　张建伟　钟磊　李泓遐　 李莹　胡小琴　 (74)专利代理 机构 常州市江海阳光知识产权代 理有限公司 32 214 专利代理师 陈晓君 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 7/18(2006.01) (54)发明名称 一种基于YOLOv4的轻量级机场场面监视方 法 (57)摘要 本发明涉及一种基于改进YOLOv4的轻量级 机场场面监视方法， 包括以下步骤： 在机场场面 收集的场面监控视频和照片利用标注工具制作 成为数据集， 并进行标注； 构建IEN ‑YOLO目标检 测模型； 利用制作好的机场场面训练集对构建的 IEN‑YOLO检测模型进行训练， 并利用构建好的测 试集对IEN ‑YOLO模型进行性能测试； 将需要检测 的图片输入训练好的IEN ‑YOLO检测模型得到检 测识别结果。 该方法只需在机场场面部署硬件成 本较低的监控摄像头即可实现机场场面的监视， 可以在保持高效检测识别精度的同时节省部署 成本。 权利要求书2页 说明书5页 附图2页 CN 115457465 A 2022.12.09 CN 115457465 A 1.一种基于 YOLOv4的轻量级机场 场面监视方法， 其特 征在于包括以下步骤： 步骤①： 采集机场场面监控摄像头拍摄的监控视频， 并对监控视频按关键帧截取的方 式， 将每一帧保存为图片， 然后利用开源 软件LabelImg对保存的图片进行标注， 标注包括了 目标位置信息和类别信息， 其中类别信息包括三类： airplane、 man、 car， 从而构建机场场面 数据集； 步骤②： 采用YOLOv4算法作 为基础的目标检测模型， 之后使用以下3个改进模块来构建 IEN‑YOLO检测模型： (1)使用轻量级EfficientNet网络作为骨干特征提取网络， 并在骨干网 络中使用ECA注意力机制替换SE注意力机制； (2)在YOLOv4算法中加入2倍的反卷积上采样 和加权特征融合结构； (3)在YOLOv4算法中加入一层高分辨率检测层； 在YOLOv4算法基础上 加入以上三个不同改进模块之后得到IEN ‑YOLO检测模型， 实现对机场场面上的飞机即 airplane、 人员即 man和车辆即car的检测识别； 步骤③： 利用构建好的机场场面数据集并以数据集中标注框的IoU为聚类指标来计算 出IEN‑YOLO检测模型需要预 先设计的anc hor框参数； 步骤④： 利用构建好的机场场面数据集并结合小目标数据增强策略来对IEN ‑YOLO检测 模型进行训练， 通过训练得到最优的权值参数， 之后用最优的权值参数来构建最终的IEN ‑ YOLO机场 场面检测模型； 步骤⑤： 利用构建好的IEN ‑YOLO机场场面检测模型来检测识别输入的机场场面监控图 像中的所有目标， 包括了各个目标的位置信息和类别分数信息， 最后使用Soft ‑NMS算法对 得到检测框进行重 叠问题处 理， 从而得到最终的检测识别结果。 2.根据权利 要求1所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤②中使用轻量级的EfficientNet网络替换YOLOv4模型原有的CSPDarknet 53骨干网络， EfficientNet网络包括了8个模块， 第一个模块为3x3的卷积模块， 其余7个模块为MBConv模 块， 每个MBConv模块基本组成单位为： 深度可分离卷积层、 Switch激活函数、 SE注意力机制 和残差连接 。 3.根据权利 要求2所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤②中使用更加轻量且对小目标检测效果更好的ECA注 意力替换原始EfficientNet网络 中的SE注意力机制， 从而得到改进的E fficientNet网络； ECA注意力机制使用了大小为K的 1D自适应卷积操作和不降维的特征提取操作来提高特征提取能力并降低模型的计算量； ECA注意力机制首先将 输入特征F进行全局平均池化Avgpool， 然后使用卷积核 大小为K的1D 卷积操作Convk得到注意力权重， 然后将注意力权重与输入特征F相乘得到新特征F ’， ECA注 意力机制表达式如下： F′＝F*Sigmo id(Convk(Avgpool(F))) 式中F′为最终输出的特征， F为输入特征， Convk代表大小为K的1D卷积操作， Avgpool表 示平均池化操作。 4.根据权利 要求3所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤②中， 在原始YOLOv4模型的基础上加入2倍的反卷积上采样和加 权特征融合模块来强 化网络的特征提取能力； 加权特征融合模块通过在特征融合过程中引入一个可学习的权重 值w， 之后将权重值w与待融合特征L进行相乘得到调整后的特征L ’， 从而来动态调整不同特 征的重要性， 表达式如下：权　利　要　求　书 1/2 页 2 CN 115457465 A 2L’＝w*L 式中L’表示经过权重调整之后的特 征， w表示引入的权 重值， L表示待融合特 征。 5.根据权利 要求4所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤②中， 在原始Y OLOv4模型的基础上加入了一层高分辨率检测层来提高模型对机场场面 上小目标的检测能力， 对于使用608x320输入分辨率的模 型， 在原始YOLOv4算法的基础上增 加一层152x8 0分辨率的检测特征层， 最后总计使用4个检测特征层进行检测， 包括了 分辨率 为152x80、 76x40、 38x20、 19x10的4个 检测层。 6.根据权利 要求5所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤③中使用K‑means聚类方法对构建好的机场场面数据集中的标注框以IoU为聚类指标 进行聚类来得到贴合机场场面数据集的anchor框， 按照3∶1的比例将步骤 ①得到的标注好 的数据集划分为训练集和测试集； 然后对构建好的数据集使用K ‑means聚类方法并以IoU为 聚类指标得到最优的检测anchor框， 同时由于IEN ‑YOLO检测模 型使用了4层检测层， 所以按 每层3个anchor框 的方式均分到每一层， 152x80分辨率检测层为： [8， 11][12， 21][16， 9]， 76x40分辨率检测层为： [22， 34][44， 44][42， 20]， 38x20分辨率检测层为： [67， 25][96， 60] [140， 54]， 19x10分辨 率检测层为： [287， 20 6][362， 171][574， 574]。 7.根据权利 要求6所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤④的模型训练中使用一种小目标数据增强策略来提高网络对机场场面上的小目标 的 检测效果； 该策略首先使用人工裁剪的方式将数据集图片中包含大量小目标的子区域进 行 裁剪得到子图， 然后将4张子图进 行随机的缩放、 翻转和颜色光照的调整， 调整完成后将4张 子图进行随机拼接从而 得到更加丰富多样的训练图片； 使用预训练的Efficient Net模型权 值来初始化IEN ‑YOLO模型权值， 模 型训练的批大小为8， 初始学习率为0.001， 每轮训练之后 学习率下降为上一轮的0.96， 训练直到模型收敛， 完成网络的学习。 8.根据权利 要求7所述的一种基于YOLOv4的轻量级机场场面监视方法， 其特征在于： 在 步骤⑤中使用训练好的IEN ‑YOLO检测模 型对输入图片进 行计算得到检测识别结果， 然后使 用Soft‑NMS算法对检测框进行后处理来得到最后的检测框， Soft ‑NMS算法采用降低检测框 分数的方式来有效处 理部分检测框高度重 叠的问题， 降低分数的方式如下： 式中Si为预测分数， M为分数最 高的预测框， bi为当前正在判断的预测框， σ 为设置的权 重参数， 在本算法中σ 取0.5 。权　利　要　求　书 2/2 页 3 CN 115457465 A 3