(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210258369.7 (22)申请日 2022.03.16 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王庆　赵天祥　刘鹏飞　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 张天哲 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/58(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G01C 21/20(2006.01) (54)发明名称 一种基于改进BiSeNet网络的机器人可行驶 路径识别方法 (57)摘要 本发明公开了一种基于改进BiSeNet网络的 机器人可行驶路径识别方法， 以BisenetV2神经 网络为基础， 在网络框架中加入稠密卷积操作， 并在基础卷积操作中加入注意力机制模块作为 新的卷积操作， 以此作为一个新的可行驶区域提 取的网络。 本发 明在不牺牲特征空间分辨率的同 时增大了感受野； 在基础卷积操作中加入注意力 机制模块作为新的卷积操作， 增强了特征的表达 能力。 权利要求书1页 说明书4页 附图3页 CN 114648697 A 2022.06.21 CN 114648697 A 1.一种基于改进BiSeNet网络的机器人可行驶路径识别方法， 其特征在于： 以 BisenetV2神经网络为基础， 在网络框架中加入稠 密卷积操作， 并在基础卷积操作中加入注 意力机制模块作为 新的卷积 操作， 以此作为 一个新的可 行驶区域 提取的网络； 具体步骤为： 1） 利用机器人 上的相机对行驶道路进行图像采集； 2） 对采集到的测试图像进行解析筛选， 选出清晰、 完整的图像序列， 作为神经网络模块 的输入； 3） 对机器人采集到的不同时间段、 不同路况、 不同位置的图像进行数据增强处理， 用 labelme软件按照可行驶区域和非可行驶区域的原则对处理后的图像进行标注， 得到训练 数据集， 接着将训练数据集输入到改进的BiSeNet网络中， 图像经过细节分支以及语义分支 得到细节信息和语义信息， 然后利用聚合层来融合细节分支和语义分支网络提取 的特征， 最后传入分割头 部部分作为 最后输出 预测的语义图； 4） 采用扫描法提取道路左右侧边缘信息点， 水平扫描可行驶区域得到边缘信息点， 然 后通过加 权求和的方式得到道路拟合中点位置， 左右侧权重均为0.5， 然后采取基于  B 样 条曲线的导航路径拟合算法， 将导航起始 点、 道路拟合中点以及道路尽头点作为  B 样条的 控制顶点， 进行多段三次  B 样条曲线拟合， 生成平顺的道路导 航路径。 2.根据权利 要求1所述的一种基于改进BiSeNet网络的机器人可行驶路径识别方法， 其 特征在于： 所述语义分支包括六个卷积层， 细节分支包括三个卷积层和一个稠密卷积层 DenseASPP。 3.根据权利 要求2所述的一种基于改进BiSeNet网络的机器人可行驶路径识别方法， 其 特征在于： 所述DenseASPP由一个基础网络和一系列层叠的卷积层组成， 它将DeepLab系列 中的ASPP和DenseNet中的密集连接相结合， 在更大的范围内产生了更多的尺度特征， DenseASPP在不牺牲特征空间分辨率的同时增大了感受野， 最终的输出特征图涵盖了大范 围的语义信息， 而且以非常密集的方式覆盖 了该范围。 4.根据权利 要求2所述的一种基于改进BiSeNet网络的机器人可行驶路径识别方法， 其 特征在于： 所述细节分支和 语义分支中的基础卷积结构使用3 ×3的卷积核， 之后加入坐标 注意力机制模块形成改进后的卷积结构， 该机制将通道注意力分解为两个1维特征编码过 程， 分别沿2个空间方向聚合特 征， 以此增强网络中特 征的表达能力。权　利　要　求　书 1/1 页 2 CN 114648697 A 2一种基于改进BiSe Net网络的机器人可行驶路径识别方 法 技术领域 [0001]本发明属于道路识别技术领域， 具体涉及一种基于改进BiSeNet网络的机器人可 行驶路径 识别方法。 背景技术 [0002]道路可行使区域的识别这一关键技术近些年在智能驾驶领域等都有着十分重要 的应用， 许多研究者相继提出了很多不同的方法和理论， 这些理论方法大概可以被分为基 于经验模型的可行驶区域检测方法和基于机器学习的可行驶区域检测方法。 前者可以分为 传统道路边界检测方法以及传统的路面分割方法， 后者可以分为传统机器学习方法和深度 学习方法。 [0003]深度学习是通过学习样本数据的内在规律和表示层次， 模拟大脑的神经网络模 型， 利用大量的数据来进行学习和识别的过程。 自  2012 年以来， 深层次卷积神经网络得到 了迅猛发展， 特别是在图像处理领域， 深度学习展现了强大的优势。 在2012年ImageNet图像 识别比赛中， Hinton课题组首次构建了AlexNet卷积神经网络。 而之后卷积神经网络不断发 展， 研究者可以利用它更加高效、 智能地识别并提取图像特征。 随着计算机领域的不断发展 以及硬件的不断完善， 研究者们将卷积神经网络应用到可行驶区域识别领域， 并取得了很 好的效果。 [0004]语义分割是将一些图像数据作为输入并将它们转换为具有突出显示的感兴趣区 域的掩模， 即语义分割 可以识别图像中存在的内容以及位置。 语义分割过程中一般语义信 息需要较深的网络来提取， 而细节信息需要在浅层 网络才能较好的保留。 因此语义信息和 细节信息在网络的结构深浅上是矛盾的， 如果网络比较浅， 下采样次数少， 那么网络的细节 信息可以被很好的提取， 但语义信息则不能被准确提取， 反之， 语义信息可以很好提取， 但 细节信息则不能很好保留。 因此BiSeNetv2中提出了双边结构， 该结构中可以一边提取语义 信息， 一边提取细节信息， 之后将两者提取到的信息融合， 其结构如图1所示； 该结构中 Detail Branch为细节分支， 提取微观特征， 关注图像细节。 该分支网络层数比较少， 下采样 次数较少， 在浅层用通道的卷积提取丰富细节特征， 用充足的空间通道去捕捉丰富的空间 信息。 而Semantic  Branch为语义分支， 提取宏观特征， 采用快速下采样的方法， 网络层数较 深， 在浅层 控制特征的通道数量， 在深层用很多通道的卷积来提取丰富的语义特征， 作用相 当于将图像大致分块。 [0005]细节分支和语义分支是两个独立的网络， 它们分别提取出特征， 然后利用一种聚 合层来融合两个独立网络提取 的特征。 而分割头部部分则是最后输出预测的语义图， 不同 语义分支会接出分割头 部， 最后的聚集层也会接出分割头 部， 然后它 们分别去计算损失。 [0006]在BiSeNetv2网络中， 对于分辨率大、 分割目标尺度范围广的语句分割任务， 长距 离的上下文信息以及不同尺度的信息对于分割 结果十分重要。 所以为了增大感受野， 通常 会对提取 的特征图进行池化以增大感受野， 但池化会牺牲空间分辨率， 多次池化后可能造 成信息丢失而影响分割效果。说　明　书 1/4 页 3 CN 114648697 A 3