(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127961.X (22)申请日 2022.09.16 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 章雨昂　仲维　孙博华　刘晋源　 王维民　樊鑫　刘日升　罗钟铉　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) (54)发明名称 基于UV视差检测和YOLOv5的融合目标识别 方法 (57)摘要 本发明属于图像处理和计算机视觉领域， 涉 及基于UV视差检测和YOLOv5的融合目标识别方 法。 本方法充分融合了改进的UV视差检测和 YOLOv5模型， 利用改进的UV 视差检测来粗识别路 面上的行人车辆和非标障碍物， 将UV 检测结果输 入到YOLOv5的深度学习模型， 将二者结果进行融 合目标识别来得到高稳定性高鲁棒性的检测效 果， 并且识别范围不限于目标的类型， 由此来实 现双目立体视觉的融合目标识别功能。 本发明可 高效快速实现路面可行驶区域检测、 非标准障碍 物检测、 以及目标分类识别功能， 是一种结合传 统双目检测和深度学习目标检测二者优点的具 有高稳定性， 高鲁棒 性的融合目标识别算法。 权利要求书2页 说明书6页 附图7页 CN 115457508 A 2022.12.09 CN 115457508 A 1.基于UV视 差检测和YOLOv5的目标识别方法， 其特 征在于， 步骤如下： 1)通过双目相机采集去畸变后的路面场景左、 右图像； 2)根据采集到的路面场景左、 右图像进行视 差计算， 得到原 始视差图； 3)对步骤2)得到的原 始视差图进行V视 差图构建； 4)根据V视 差图进行路面划分， 确定目标检测区域； 5)对步骤4)确定的目标检测区域和步骤3)的V视差图进行像素关联， 剔除V视差图上路 面以下像素 的视差信息， 检测障碍物与路面相交的垂直线， 并构建只含有路面以上视差信 息的新视 差图； 6)基于步骤5)获得的新视 差图， 构建U视 差图， 并检测障碍物直线； 7)将步骤5)和步骤6)检测出的直线， 在路面场景左图像上做综合校验， 并针对障碍物 中的行人和车辆的检测做了轮廓识别区分行人车辆和非标障碍物， 合并得到UV视差目标检 测结果； 8)将步骤7)得到的UV视差目标检测结果输入YOLOv5模型进行联合训练检测， 输出检测 结果并结合对应的原 始视差图关系确定目标的二维图像坐标以及三维空间坐标。 2.根据权利 要求1所述的基于UV视差检测和YOLOv5的目标识别方法， 其特征在于， 所述 的步骤4)， 具体步骤如下： 4.1)确定地平线： 路面区域映射在V视差图中， 以左下角为原点， V方向上视差随着坐标 的增大而减小， 路面区域在V视差图中所对应的视差统计点是一条连续的斜线段作为路面 区域， 该斜线段包含了路面区域在原始图像中的纵向范围； 因为路面区域是从图像底部开 始延伸到地平线， 所以先确定地平线位置， 首先将路面轮廓停止 向左侧延伸的行数设置为 地平线所在行， 通过输入的V视差图确定地平线 所在行高Hn， 将地平线以上的位置 设置为非 道路区域， 原 始视差图中高于Hn的所在行视 差定义为0； 4.2)确定道路初始轮廓： ， 根据视差值近大远小且应连续光滑的特征， 不符合此特征的 点称为奇异 点； 在V视差图中每行最大强度点所对应的视差值相对于其他大小视差值， 是道 路面的可能性更大， 所以去除每行的奇异点， 更新奇异点行 的路面偏差范围， 进而在V视差 图中确定道路的初始轮廓； 4.3)误判点重新归类： 由于根据根视差值近大远小且应连续光滑的特征去判断奇异点 可能会存在偏差， 这些有偏 差的奇异 点称为误判点， 所以要将这些误判点做重新分类； 误判 点会造成路面的遗失， 因此先找 回这些路面遗失点， 再采用最小类间相似算法将小面积的 错误标签重新归类， 最后将较大的连续标签区域 错误归类点重新赋值， 校正 误判点； 4.4)确定目标检测区域： 在确定道路初始轮廓的基础上对检测图像进行分割， 使得后 续检测车辆只在检测区域中进行检测。 3.根据权利 要求1所述的基于UV视差检测和YOLOv5的目标识别方法， 其特征在于， 所述 的步骤5)， 具体步骤如下： V视差图中的斜线或曲线代表路面初始轮廓， 垂直线段代表障碍物的位置， 交点即为障 碍物的触地点， 垂 直线段的高度 代表障碍物的高度； 障碍物在V视差图中所对应的视差统计 点也近似是一条连续的竖直线段， 其中竖直线段和直线段的交点是车辆原始图像中车辆和 路面接触点的坐标； V视差图进 行标准霍夫变换检测垂直线， 由此可以检测障碍物与路面相 交的垂直线， 即障碍物的垂 直位置信息； 并通过步骤4)中确定的目标检测区域来剔除V视差权　利　要　求　书 1/2 页 2 CN 115457508 A 2图上路面以下像素的视 差信息。 4.根据权利 要求1所述的基于UV视差检测和YOLOv5的目标识别方法， 其特征在于， 所述 的步骤6)， 具体步骤如下： 对新视差图进行U视差图计算， 通过对U视差图进行标准霍夫变换检测筛选水平线， 即 进行障碍物直线检测， 获得障碍物的水平位置信息 。 5.根据权利 要求1所述的基于UV视差检测和YOLOv5的目标识别方法， 其特征在于， 所述 的步骤7)， 具体步骤如下： 结合步骤5)获得的障碍物的垂直位置信息以及通过步骤6)中得 到障碍物的水平位置信息， 即利用U视差图中Y的值排列检测 到的障碍物， V视差图中根据X 的值排列检测到的障碍物， 在步骤2)中获得的原始视差图中定位这些障碍物在二维的坐 标， 通过视差图中的视差值进一步计算出这些障碍物在三 维立体空间内的三 维坐标； 其中， 车辆和行人 的轮廓识别方法如下： 首先遍历初始视差图的每个像素点视差值， 为了进一步 识别出车辆和行人， 对每个视差值进行阈值过滤， 将不符合阈值的视差值置0， 然后标记所 有的连通区域， 逐个扫描 所有的连通区， 进 行面积阈值过滤， 再通过对车辆和行人的经验长 宽比进行 过滤， 最后得到行 人和车辆的轮廓识别结果， 以此区分行 人车辆和非标障碍物。 6.根据权利 要求1所述的基于UV视差检测和YOLOv5的目标识别方法， 其特征在于， 所述 的步骤8)， 具体步骤如下： 8.1)将步骤7)获得的UV视 差目标检测结果作为YOLOV5整个网络的输入； 8.2)针对目标环境中行 人、 车辆和非标障碍目标进行多尺度检测； 8.3)将所输入的图像进行网格划分； 8.4)对于所划分的网格， 进行障碍物边框的预测； 8.5)根据阈值去除掉 概率较低的窗口； 8.6)最后输出最终目标的精确的二维边框以及目标种类， 并基于步骤2)的原始视差图 中对应的视 差值计算各障碍物的三维空间XYZ坐标信息 。权　利　要　求　书 2/2 页 3 CN 115457508 A 3