(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143075.6 (22)申请日 2022.09.20 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 谢磊　陈泓旭　李至善　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 彭剑 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于两阶段融合神经网络的交通标志 检测方法 (57)摘要 本发明公开了一种基于两阶段融合神经网 络的交通标志 检测方法， 包括： (1)准备数据集并 在YOLOv5模型上进行预训练； (2)将图像输入 YOLOv5网络得到第一阶段的预测目标及分类； (3)设计第二阶段分类网络， 在分类网络中加入 注意力机制和上下文机制增强网络的特征提取 能力； (4)将YoloV5检测器的预测结果从原图上 裁剪后进行特殊后处理， 删除预测结果中同时包 含多个目标的误检； (5)将经过后处理的图片统 一大小后输入第二阶段分类网络， 产生第二阶段 的分类结果； (6)两个阶段的分类结果通过多元 线性回归融合得到最终分类结果。 利用本发明， 可以在保证模型轻量的前提下提高交通标志小 目标的检测精度。 权利要求书2页 说明书5页 附图3页 CN 115482444 A 2022.12.16 CN 115482444 A 1.一种基于 两阶段融合神经网络的交通标志检测方法， 其特 征在于， 包括以下步骤： (1)获取交通标志数据集， 在交通标志数据集上 预训练Yo loV5卷积神经网络； (2)将原始图像输入训练好的YoloV5卷积神经网络中， 获得第一阶段的预测框坐标以 及类别， 并使用特定的后处 理方法过 滤掉重叠的预测框； (3)将步骤(2)处理后的预测框对应的区域从原始图像 中裁剪出来， 同时保留裁剪图像 中目标的位置和类别； (4)设计第二阶段 轻量化的分类模型， 用于对裁 剪出来的图像进行重新分类； (5)将步骤(3)裁剪出来的图像输入到分类模型中， 进行不少于100个Epoch的迭代训 练， 直到分类模型收敛； (6)在实际预测目标时， 首先将待识别图像输入到训练好的YoloV5卷积神经网络中获 得预测位置和类别， 然后对预测结果进行对应的后处理； 将处理后保留的预测区域从原图 上裁剪出来再送入训练好的分类模型中进行目标的重新分类； 最后将YoloV5卷积神经网络中预测的第一阶段的分类结果与分类模型预测得到的第 二阶段的重分类结果进行融合， 得到最终的分类结果。 2.根据权利要求1所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 步骤(1)中， 交通标志数据集采用TT100K数据集， 忽略其中实例数小于100的类别， 使用剩下 45个类别用于分类和训练。 3.根据权利要求1所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 步骤(2)中， YoloV5卷积神经网络的主干网络首先使用Focus模块对原始图像进行类似邻近 下采样的切片操作， 然后通过多个CSPDarknet53网络结构进行特征提取， 获得第一阶段的 预测框的坐标以及类别。 4.根据权利要求1所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 步骤(2)中， 使用特定的后处 理方法过 滤掉重叠的预测框具体过程 为： 对于YoloV5卷积神经网络预测的所有区域组成的集合， 首先将它们按照面积大小排 列； 取其中面积最大的区域， 对集合中剩下的所有区域， 依次计算F； 一旦有一个F的值大于 设置阈值时， 则将该面积最大的区域从集合中删除； 重复上述步骤， 直到整个集合都被遍 历； F的计算公式如下： 其中， A、 B代 表集合中的区域的面积， A∩B代 表A和B区域交集的面积。 5.根据权利要求1所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 步骤(4)中， 所述的分类模型使用MobileNetV2， 包括使用倒残差块先对通道进行升维后进 行卷积再降维， 并使用线性 瓶颈块代替非线性激活函数， 减少网络参数。 6.根据权利要求5所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 所述的分类模型中加入了注意力机制和上 下文机制， 用于提升小目标检测的效果。 7.根据权利要求1所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 步骤(6)中， 第二阶段预测结果输出需要和第一阶段类别 预测结果有相同的形状， 因此， 通 过全连接层调整输出 的形状， 使两个阶段分别预测两组类别相互对应的置信度张量， 两组权　利　要　求　书 1/2 页 2 CN 115482444 A 2置信度通过多元线性回归方式 融合， 得到最终分类结果。 8.根据权利要求7所述的基于两阶段融合神经网络的交通标志检测方法， 其特征在于， 多元线性回归方式如下： 其中， i代表第i个框， n取1或2， 是第n阶段预测的各类别的置信度， 是最终得到的 各类别的置信度； wn、 θn是待学习的系数， wn中元素取值范围是[0,1]， σ( ·)是sigmoid激活 函数； 为求得最优解， 最小化损失函数L( θ )： 其中， Nb是一个batch中所含目标 的数量， yi是真实结果； 使用梯度下降法， 不断迭代更 新θn， 直到L( θ )小于预设值。权　利　要　求　书 2/2 页 3 CN 115482444 A 3