(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210584459.5 (22)申请日 2022.05.26 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 金光　黄俊凯　江先亮　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 高瑞霞 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/17(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进型YOLOv5的无人机航拍图像 河流漂浮物检测方法 (57)摘要 本发明涉及一种基于改进型YOLOv5的无人 机航拍图像河流漂浮物检测方法， 该方法利用无 人机对河流进行拍摄， 将获得的图像进行整理， 构建了一个河流漂浮物数据集， 根据无人机视角 下河流漂浮物的特点构建改进型YOLOv5s网络， 改进型YOLOv5s网络在特征融合阶段引入改进的 CBAM来抑制图像背景复杂的问题， 改进的CB AM借 鉴了ECANet的思想， 将自适应维度的一维卷积代 替通道注 意力模块中的全 连接层， 在不显著增加 模型复杂度的同时提升了性能； 在检测阶段添加 微尺度检测层， 提高小目标的检测能力； 在训练 阶段， 为置信度损失添加了一个权重因子提高正 样本的损失权重， 以平衡训练过程中正负样本的 比例不均衡问题。 权利要求书4页 说明书12页 附图3页 CN 115115934 A 2022.09.27 CN 115115934 A 1.一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方法， 其特征在于： 该方 法包括下列步骤： S1、 利用无 人机采集河道漂浮物图像； S2、 对采集到的河道漂浮物图像进行处理， 由经过处理的河道漂浮物图像构建河道漂 浮物数据集， 将 河道漂浮物数据集中的一部分作为训练集， 另一部分作为测试集； S3、 构建改进型YOLOv5网络； 所述改进型YOLOv5网络包括用于特征提取的Backbone， 用 于特征融合的Neck以及用于目标检测的Head； 所述Neck包括由FPN和PAN相结合的特征金字 塔结构模块以及注意力机制模块E ‑CBAM； 设定输入特征图为F， F∈RC*H*W， 其分辨率为n ×n， Backbone用于对输入 特征图F进行特征提取， 并生 成四张经过特征提取的特征图； 所述四张 经过特征提取的特征图的尺寸分别为 以及 特征金字塔结构模 块用于对四张经过特征提取的特征图进行特征融合， 得到四张经过特征融合的融合特征 图； 每个注意力机制模块E ‑CBAM用于对对应的经过特征融合的融合特征图引入注意力机 制， 即： 由注意力机制模块E ‑CBAM依次生成一维的通道注意力图Mc和二维的空间注意力图 Ms， 其中， Mc∈RC*1*1， Ms∈R1*H*W， 通道注意力图Mc用于对经过特征融合 的融合特征图进行校 正， 得到第一校正特征图F'， 空间注意力图Ms用于对第一校正特征图F'进行校正， 得到第二 校正特征图F”； 所述Head用于对得到的第二校正特 征图F”进行检测， 获得最终检测结果； S4、 使用步骤S2中得到 的训练集对步骤S3中构建的改进型YOLOv5网络进行训练， 得到 训练后的改进型YOLOv5网络； S5、 使用步骤S2中得到的测试集对步骤S4 中得到的训练后的改进型YOLOv5网络进行测 试， 并调整模型参数， 得到优化后的改进型YOLOv5网络； S6、 采用优化后的改进型YOLOv5网络对无 人机航拍图像中的河流漂浮物进行检测。 2.根据权利要求1所述的一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方 法， 其特征在于： 在步骤S1中， 利用无人机采集河道漂浮物图像的具体过程为： 将无人机的 飞行高度控制在距离水面的7～15米， 并设置相机的拍摄角度 垂直于水面， 然后利用无人机 采集河道漂浮物图像。 3.根据权利要求1或权利要求2所述的一种基于改进型YOLOv5的无人机航拍图像河流 漂浮物检测方法， 其特征在于： 在步骤S2中， 对采集到的河道漂浮物图像进 行处理的具体过 程为： 对采集到的每张河道漂浮物图像通过窗口大小为1600*1600， 步长为800的滑动窗口 进行切割， 得到若干张切割图像， 将不具有河道漂浮物的切割图像剔除， 剩下具有河道漂浮 物的切割图像， 将具有河道漂浮物的切割图像通过Label Img软件进行河道漂浮物标注。 4.根据权利要求3所述的一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方 法， 其特征在于： 在步骤S 3中， Backbone用于对输入 特征图F进行特征提取， 并生 成四张经过 特征提取的特 征图的具体过程包括下列步骤： S3.01、 将输入特征图F输入到Backbone中 的Focus模块， Focus模块利用步距为1的1 ×1 卷积将输入特征图F以每隔一个像素进行切片的方式进行切片， 切成若干张小尺寸的特征 图， 然后将若干张小尺寸的特 征图进行拼接， 拼接后得到拼接特 征图； S3 .02、 将步骤S3 .01得到的拼接特征图先通过3 ×3卷积， 然后再通过一个 BottleneckCS P模块进行 特征提取， 输出 经过特征提取的特 征图， 其尺寸 为 权　利　要　求　书 1/4 页 2 CN 115115934 A 2S3.03、 将步骤S3.02得到 的经过特征提取的特征 图通过3×3卷积， 然后再依次通过三 个BottleneckCS P模块进行 特征提取， 输出 经过特征提取的特 征图， 其尺寸 为 S3.04、 将步骤S3.03得到 的经过特征提取的特征 图通过3×3卷积， 然后再依次通过三 个BottleneckCS P模块进行 特征提取， 输出 经过特征提取的特 征图， 其尺寸 为 S3.05、 将步骤S3.04得到的经过特征提取的特征图通过3 ×3卷积， 然后再通过SPP模块 来进行信息融合， 最后通过一个Bott leneckCSP模块进行特征提取， 输出经过特征提取的特 征图， 其尺寸 为 5.根据权利要求4所述的一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方 法， 其特征在于： 在步骤S3中， BottleneckCSP模块进行特征提取的具体过程为： 所述的 BottleneckCSP模块通过两条分支来进行特征提取， 首先， 在第一条分支中， 将步骤S3.01得 到的拼接特征图经过1 ×1的卷积， 然后通过残差结构， 再进 行1×1的卷积， 由第一条分支输 出结果； 此时第一条分支输出 的结果的通道数为输入第一条分支 时的拼接特征图的一半； 然后， 在第二条分支 中， 将步骤S3.01得到的拼接特征图通过1 ×1的卷积进行降维， 降维后 的结果与第一条分支输出的结果拼接在一起， 然后再通过一个卷积层形成输出特征图； BottleneckCSP模块借鉴了CSPNet中的Cross  Stage Partial结构， 加强了特征学习能力、 减少了网络模型的计算 量并优化了网络传播中的重复梯度信息 。 6.根据权利要求5所述的一种基于改进型YOLOv5的无人机航拍图像河流漂浮物检测方 法， 其特征在于： 在步骤S 3中， 特征金字塔结构模块用于对四张经过特征提取的特征图进 行 特征融合， 得到四张经 过特征融合的融合特 征图的具体过程包括下列步骤： S3.11、 将步骤S3.05中得到的尺寸为 的特征图经过1 ×1卷积形成新的尺寸为 的特征图； S3.12、 将步骤S3.05中得到的尺寸为 的特征图经过上采样变为尺寸为 的 特征图， 然后与步骤S3.04中由BottleneckCSP模块输出的 的特征图在通道层面进行 拼接， 形成新的尺寸 为 的特征图； S3.13、 将步骤S3.12中形成的新的尺寸为 的特征图经过上采样变为尺寸为 的特征图， 然后与步骤S3.03中由BottleneckCSP模 块输出的 的特征图在通道层面进行 拼接， 形成新的尺寸 为 的特征图； S3.14、 将步骤S3.13中形成的新的尺寸为 的特征图经过上采样变为尺寸为 的 特征图， 然后与步骤S3.02中由BottleneckCSP模 块输出的 的特征图在通道层面进行拼 接， 形成新的尺寸 为 的特征图； S3.15、 将步骤S3.14中形成的新的尺寸为 的特征图经过BottleneckCSP模块形成权　利　要　求　书 2/4 页 3 CN 115115934 A 3