(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210123908.6 (22)申请日 2022.02.10 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 李永　王学舟　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 沈波 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络的图像目标检测方 法 (57)摘要 本发明公开了一种基于卷积神经网络的图 像目标检测方法， 包含以下步骤： 对数据集进行 预处理， 使用数据增强的方法； 对数据使用 Mosaic数据增强方法， 将随机四张图片拼接在一 起以提高数据训练效果； 参照YOL Ov2构建基础卷 积神经网络， 每个卷积单元包含一个卷积层、 一 个BatchNormalization层、 一个Relu激活层， 整 个网络结构中没有全连接层， 全部使用卷积层； 在卷积神经网络中使用残差网络结构， 可加深网 络深度， 是模型学习更好的特征； 使用多尺度特 征图融合 以提高网络模型在不同尺度图像上的 检测效果， 提高目标检测模型的鲁棒性； 在数据 增强之后做 好数据标注， 然后使用聚类方法对训 练集中的边界框做聚类分析， 通过聚类 分析结果 选择合适的先验框， 便 于模型学习。 权利要求书2页 说明书5页 附图2页 CN 114511710 A 2022.05.17 CN 114511710 A 1.一种基于卷积神经网络的图像目标检测方法， 其特征在于： 所述图像目标检测方法 包括以下步骤： 步骤一： 准备图像数据， 对图像数据进行打标签， 标注目标数据； 对数据集进行划分， 分 为训练集、 验证集、 测试集， 训练集用来训练模 型， 验证集用来验证每个Epoch后的模 型的性 能， 将每次训练的数据结果记录并绘制图表； 测试集用来测试最 终模型的性能； 对训练集进 行数据增强， 为Mosaic数据增强， 将四张图片进 行拼接， 在模型训练的时候将一张图片传 入 神经网络， 相当于一次传入四张图片进行学习， 变相提高训练数据的batch_ size， 同时降低 对于GPU硬件的性能要求； 步骤二： 搭建卷积神经网络， 基础网络部分主要由卷积单元网络结构、 残差网络结构组 成， 在网络输出模块采用多尺度特征融合的方法， 输出两种尺度的特征图， 加强网络对于不 同尺度的图像的预测效果； 将一个卷积层Convolutional、 一个Batch  Normalization层、 一个Relu激活层组成一 个卷积单元CBR； 在网络的输出模块采用多尺度特征图融合的方式， 将最终尺 寸为17×17的 特征图作为一种输出， 同时这一层特征图上采样为34 ×34的特征图， 然后和上一层34 ×34 的特征图张量拼接作为尺 寸为34×34的另一种输出； 两种输出分别用于检测大目标和小目 标； 步骤三： 图像数据的预处理， 对于图像数据， 划分为训练集、 验证集和测试集； 使用反 转、 镜像方式做数据增强， 使用Mosaic数据增强技 术对训练集数据做增强； 步骤四： 训练卷积神经网络； 如步骤二搭建好卷积神经网络之后， 选择Pytorch框架编 写代码， 将训练数据输入网络， 进行模型的训练； 监督训练过程中的参数， 直到网络达到最 优， 并记录此时的网络参数； 步骤五： 目标图像检测； 利用步骤三训练好的网络模型， 对目标图像进行目标检测， 识 别出图像中的目标和框出目标的位置 。 2.根据权利要求1所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 在 Pytorch框架下， 使用Python语 言编程实现； 首先完成网络搭建， 并配置相关的初始参数； 利 用训练好的网络模型对图像进行目标检测。 3.根据权利要求1所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 数 据集的预 处理； 使用数据标注工具将图像目标做好标记， 将所有 数据按4： 1的比例划分为训 练集和验证集； 训练集用来训练模型， 验证集用来测试每个训练epoch后的模型性能参数； 在训练集上使用数据增强技术， Mosaic数据增强先从训练集中随机读取四张图片， 分别对 四张图片进行反转、 缩放、 色域变化操作， 然后将四张图片拼接到一起成一张图片， 最后进 行图片的组合和目标框的组合， 经Mosaic数据增强后的图， 提高了训练数据输入的batch_ size。 4.根据权利要求1所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 搭 建卷积神经网络， 包括特征提取 的基础网络和多尺度输出部分， 基础 网络部分用于特征提 取， 多尺度输出用来 提高网络模型对于不同尺度图像的检测性能； 在基础网络部分大量使用残差网络结构， 残差块有两层， F＝W2σ(W1X)， 其中σ 代表非线 性函数Relu， 然后通过一个shor tcut和第二个Relu， 获得最终输出y＝F(X,{Wi})+X； 神经网络中每个卷积单元都在卷积层后加一个B atch Normalization层； BN层用来做权　利　要　求　书 1/2 页 2 CN 114511710 A 2数据归一 化， 每一层输入数据在经 过卷积之后得到 输出数据， 对数据进行归一 化预处理。 5.根据权利要求1所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 神 经网络结构在输出部分采用多尺度输出的方式来 实现多尺度检测， 特征提取部 分最后输出 为17×17尺寸的特征图， 前一层残差网络输出为34 ×34尺度的特征图； 输出部分 的一个分 支为17×17的特征图， 分支使用张量拼接的方式， 将上一残差块的34 ×34尺寸特征图和经 上采用后的17 ×17特征图进行拼接， 经卷积之后输出34 ×34尺寸特征图， 两种尺度的输出 实现对于多尺度图像的目标检测。 6.根据权利要求5所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 构 造损失函数， 将目标检测看成回归问题， 采用的是均方差损失和平均绝对误差损失相结合 的损失函数， 均方差损失函数MS E Loss使得各个训练点到最优拟合线的距离最小即平方和 最小。 7.根据权利要求5所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 对 于模型预测的定位信息和分类信息都利用均方误差做为损失函数。 8.根据权利要求1所述的一种基于卷积神经网络的图像目标检测方法， 其特征在于： 网 络训练过程如下， 在搭建好神经网络之后， 在Pytorch深度学习框架下编写代码， 首先对网 络参数进 行随机初始 化； 之后将训练集数据输入神经网络进 行训练， 得到预测检测结果； 随 后计算预测结果与真实值之间的损失函数值， 利用梯度下降的方法进行参数 的调整； 每个 训练epoch之后的网络在验证集上测试网络性能参数， 最终将整个epochs 的性能参数绘制 图表， 并确定最终模型训练次数； 最终训练好模型用于目标检测； 图像目标检测， 使用最终 训练好的模型进行图像目标检测， 将待检测的图像输入至训练好的网络模型， 最终得到目 标检测结果。权　利　要　求　书 2/2 页 3 CN 114511710 A 3