(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210601499.6 (22)申请日 2022.05.30 (71)申请人 上海应用技 术大学 地址 200235 上海市徐汇区漕宝路120 -121 号 (72)发明人 周峰　刘云翔　原鑫鑫　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于自注意力机制的交通标志识别方 法 (57)摘要 本发明公开了一种基于自注意力机制的交 通标志识别方法， 包括如下步骤： S1： 获取待识别 交通标志的视频输入流， 并输入至预先构建的基 于自注意力机制的交通识别模型进行识别； S2: 基于预先设置的种类的目标对视频输入流进行 框选， 得到交通标志的位置以及相对应的类别信 息； 其中， 交通识别模型包括特征提取层、 特征融 合层和多尺度检测回归层； 特征提取层依次连接 的四层， 用于对视频输入流的每一帧图像进行分 割、 展平、 映射、 编码操作， 并提取特征图； 特征融 合层用于对 特征提取层进行上采样， 对特征图进 行特征融合并划分出不同的尺度； 多尺度检测回 归层用于对不同尺度的特征图进行检测和种类 识别。 本发明的自注意力机制鲁棒性更好、 精度 更高。 权利要求书2页 说明书4页 附图3页 CN 114898337 A 2022.08.12 CN 114898337 A 1.一种基于自注意力机制的交通标志 识别方法， 其特 征在于， 包括如下步骤： S1： 获取待识别交通标志的视频输入流， 并输入至预先构建的基于自注意力机制的交 通识别模型进行识别； S2:基于预先设置的种类的目标对所述视频输入流进行框选， 得到交通标志的位置以 及相对应的类别 信息； 其中， 所述交通识别模型包括特征提取层、 特征融合层和多尺度检测回归层； 所述特征 提取层依次连接的四层， 用于对所述视频输入流的每一帧图像进行分割、 展平、 映射、 编码 操作， 并提取特征图； 所述特征融合层用于对所述特征提取层进 行上采样， 对所述特征图进 行特征融合并划分出不同的尺度； 所述多尺度检测回归层用于对不同尺度的所述特征图进 行检测和种类识别。 2.根据权利要求1所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 在所述 步骤S1之前需要构建所述交通识别模型， 包括如下步骤 A1： 获取交通标志图像并进行分类并标注， 得到数据集； A2： 对所述数据集进行 数据增强； A3： 构建预识别模型， 并将增强后的所述数据集放入所述预识别模型进行参数训练更 新直至收敛， 得到所述交通识别模型。 3.根据权利要求2所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 所述步 骤A1具体为获取所述交通标志图像， 并进行分类以及标注交通标志的位置， 将所述交通标 志图像按训练集和验证集分类、 整理存放， 并将标注位置信息以及相对应的交通标志种类 存入相对应的CSV文件中， 所述训练集和所述验证集组成数据集,每张所述交通标志图像对 应一标签， 所述标签内记载相对应的交通标志种类。 4.根据权利要求3所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 所述步 骤A1与所述 步骤A2之间还包括如下步骤： 读取所述数据集中的每 个图片相对应的所述标注位置信息； 基于所述标注位置信息， 通过k ‑means聚类算法对获得6种不同的检测框， 并赋值给所 述预识别模型的检测层。 5.根据权利要求3所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 所述步 骤A2具体包括如下步骤： A21： 对所述数据集中的所述交通标志图像进行数据增 强， 使用马赛克增 强技术， 对所 述数据集进行扩充； A22： 对数据增强后的所述数据集进行统计， 统计不同种类交通标志所对应所述交通标 志图像的数量， 对于交通标志种类数量较少的所述交通标志图像进行 再次数据增强。 6.根据权利要求5所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 在所述 步骤A21具体包括如下步骤 A211： 从所述数据集中随机 选取四张交通标志图像； A212： 分别对四张所述交通标志图像进行左右翻转， 大小缩放， 明亮度、 饱和度和色调 改变； A213： 对四张所述交通标志图像依次摆放于四个角； A214： 利用矩阵的方式对四张所述交通标志图像进行截取， 然后拼接， 得到交通标志合权　利　要　求　书 1/2 页 2 CN 114898337 A 2成图像， 所述交通标志合成图像中带有所述标注位置信息和相对应的交通标志种类， 所述 交通标志合成图像和所述交通标志图像构成数据增强后的所述数据集； A215： 重复所述 步骤A211至A214， 直至扩增到预设的数量阈值。 7.根据权利要求6所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 在所述 步骤A22具体包括如下步骤 A221： 读取数据增强后的所述数据集的标签， 获取标签内记载的交通标志种类， 并对交 通标志种类进行统计， 从所述数据集找出交通标志种类数量较少的图像； A222： 对于交通标志种类数量少的图像中， 随机取出不同交通标志种类的两张图像进 行剪切、 拼接得到一张交通标志 A223： 重复所述 步骤A221和A222， 直至各交通标志种类相对应的图像数量相接 近。 8.根据权利要求1所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 所述获 取待识别交通标志的视频输入流， 并按时间进行帧截取， 得到每一帧相对应的图像数据并 输入所述交通识别模型进行识别。 9.根据权利要求8所述的基于自注意力 机制的交通标志识别方法， 其特征在于， 还包括 步骤S3， 若没有检测到交通标志则丢弃这一帧图像数据， 否则输出并保存框有交通标志位 置的图像数据以及类别 信息。权　利　要　求　书 2/2 页 3 CN 114898337 A 3