(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210574388.0 (22)申请日 2022.05.24 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 产思贤　俞敏明　赖周年　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络的城市人流小目标 检测方法 (57)摘要 本发明公开了一种基于卷积神经网络的城 市人流小目标检测方法， 对带有标注了人像小目 标检测框的图像训练数据集进行Mosaic数据增 强和MixUp数据增强， 将增强后图像训练数据集 调整为输入图片大小， 输入到骨干网络中获取骨 干网络四种大小的特征图， 将四种大小的特征图 输入到特征融合网络BIAFPN中进行特征处理， 将 融合后的特征图分别传入各自对应的预测头， 分 别进行分类分支与回归分支的卷积后沿通道部 分进行连接， 再将连接得到的特征图拉伸为一 维， 然后将拉伸后的特征图进行连接， 得到最终 的特征图， 计算损失并进行反向传播更新网络参 数， 完成网络的训练。 本发明引入浅层细粒度特 征， 再采用特征融合网络来检测目标， 能够有效 提高城市人像小目标检测的精度。 权利要求书1页 说明书5页 附图2页 CN 114821665 A 2022.07.29 CN 114821665 A 1.一种基于卷积神经网络的城市人流小目标检测方法， 其特征在于， 所述基于卷积神 经网络的城市人流小目标检测方法， 包括： 获取带有标注了人像小目标检测框的图像训练数据集， 对图像训练数据集进行Mosaic 数据增强和MixUp数据增强； 将增强后图像训练数据 集调整为输入图片大小， 输入到骨干网络CSPDarknet ‑53中， 获 取骨干网络CSPDarknet ‑53中dark2单元、 dark3 单元、 dark4单元和dark5 单元输出的四种大 小的特征图F1、 F2、 F3、 F4； 将四种大小的特征图F1、 F2、 F3、 F4输入到特征融合网络BIAFPN中进行特征处理， 得到融 合后的特 征图F12、 F22、 F32、 F42； 将融合后的特征图F12、 F22、 F32、 F42分别传入各自对应的预测头， 分别进行分类分支与回 归分支的卷积后 沿通道部分进行连接， 再将连接得到的特征图拉伸为一维， 得到拉伸后的 特征图F13、 F23、 F33、 F43， 然后将拉伸后的特征图F13、 F23、 F33、 F43进行连接， 得到最终的特征 图， 计算损失并进行反向传播更新网络参数， 完成网络的训练； 将待检测图像输入到训练好的网络中， 得到检测结果。 2.如权利要求1所述的基于卷积神经网络的城市人流小目标检测方法， 其特征在于， 所 述Mosaic数据增强， 包括： 取出4张图像通过随机缩放、 随机 剪裁、 随机排布的方式进行拼接； 所述MixUp数据增强， 包括： 将2张图像叠加到一 起。 3.如权利要求1所述的基于卷积神经网络的城市人流小目标检测方法， 其特征在于， 所 述将四种大小的特征图F1、 F2、 F3、 F4输入到特征融合网络BIAFPN中进行特征处理， 得到融合 后的特征图F12、 F22、 F32、 F42， 包括： 将特征图F1直接输入到特征融合网络BIAFPN中， 首先是自顶向下， 经过1 ×1卷积， 上采 样后与特征图F2做自适应特征融合得到特征图F21； 继续将特征图F21经过1×1卷积， 上采样 后与特征图F3进行自适应特征融合 得到特征图F31； 再将特征图F31经过1×1卷积和上采样后 与特征图F4进行自适应特征融合得到特征图F41； 将特征图F41直接输出得到特征图F42； 再做 自下而上和跨尺度的融合， 将F42经过1×1卷积和下采样后 与之前的F3和F31融合得到特征图 F32； 将F32经过1×1卷积和下采样后与之前的F2和F21融合得到特征图F22； 将F22经过1×1卷积 和下采样后与之前的F1和F11融合得到特征图F12； 每一次特征融合后都要进行一次CBAM注意 力机制增强空间和通道信息 。 4.如权利要求1所述的基于卷积神经网络的城市人流小目标检测方法， 其特征在于， 所 述计算损失， 包括： 分类损失、 边框损失和目标得分损失， 分类损失和目标得分损失是 BCELoss， 边框损失采用IOUL oss。权　利　要　求　书 1/1 页 2 CN 114821665 A 2一种基于卷积神经 网络的城市人流小目标 检测方法 技术领域 [0001]本申请属于深度学习图像处理技术领域， 尤其涉及一种基于卷积神经网络的城市 人流小目标检测方法。 背景技术 [0002]目标检测是机器视觉的一类基本问题， 支持实例分割、 目标跟踪、 动作识别等视觉 任务， 在汽车自动驾驶、 卫星图像、 监控等领域 都有着广泛的应用。 现有的目标检测算法， 大 多是采用有锚框的方法， 但是这样往往会造成正负样本不均衡的问题， 对于小目标检测而 言就显得 更加困难， 如何提升小目标检测精度仍是当下检测的一个难题。 [0003]目前目标检测主流的技术方案有一阶段算法和两阶段算法。 两阶段的主流算法如 FasterR‑CNN系列， 先筛选出大量可能存在目标的候选区域， 再对候选区域进行检测， 该算 法精度高， 但是速度慢， 实时图像检测效果较差。 一阶段的主流算法如YOLO系列， 直接完成 端到端的预测， 模型检测速度更 快， 但一定程度上降低物体 检测精度。 发明内容 [0004]本申请的目的是提供一种基于卷积神经网络的城市人流小目标检测方法， 在原有 YOLOX技术方案中引入浅层信息层做多尺度， 同时采用了更好的特征融合方式BIAFPN， 克服 了城市人像小目标检测精度低的问题。 [0005]为了实现上述目的， 本申请技 术方案如下： [0006]一种基于卷积神经网络的城市人流小目标检测方法， 包括： [0007]获取带有标注了人像小目标检测框的图像训练数据集， 对图像训练数据集进行 Mosaic数据增强和MixUp数据增强； [0008]将增强后图像训练数据集调整为输入图片大小， 输入到骨干网络CSPDarknet ‑53 中， 获取骨干网络CSPDarknet ‑53中dark2单元、 dark3单元、 dark4单元和dark5单元输出的 四种大小的特 征图F1、 F2、 F3、 F4； [0009]将四种大小的特征图F1、 F2、 F3、 F4输入到特征融合网络BIAFPN中进行特征处理， 得 到融合后的特 征图F12、 F22、 F32、 F42； [0010]将融合后的特征图F12、 F22、 F32、 F42分别传入各自对应的预测头， 分别进行分类分支 与回归分支的卷积后 沿通道部分进行连接， 再将连接得到的特征图拉伸为一维， 得到拉伸 后的特征图F13、 F23、 F33、 F43， 然后将拉伸后的特征图F13、 F23、 F33、 F43进行连接， 得到最终的特 征图， 计算损失并进行反向传播更新网络参数， 完成网络的训练； [0011]将待检测图像输入到训练好的网络中， 得到检测结果。 [0012]进一步的， 所述Mosaic数据增强， 包括： [0013]取出4张图像通过随机缩放、 随机 剪裁、 随机排布的方式进行拼接； [0014]所述MixUp数据增强， 包括： 将2张图像叠加到一 起。 [0015]进一步的， 所述将四种大小的特征图F1、 F2、 F3、 F4输入到特征融合网络BIAFPN中进说　明　书 1/5 页 3 CN 114821665 A 3