(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221046243 5.2 (22)申请日 2022.04.29 (65)同一申请的已公布的文献号 申请公布号 CN 114565771 A (43)申请公布日 2022.05.31 (73)专利权人 广东粤港澳大湾区硬科技创新研 究院 地址 510700 广东省广州市黄埔区开源大 道广州开发区科技企业加速器B3栋3 层 (72)发明人 黄智刚　吴清泉　李然　崔开金　 杨军红　刘浩　王家赞　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 李妙芬(51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 7/00(2017.01) (56)对比文件 CN 204405064 U,2015.0 6.17 US 20213195 61 A1,2021.10.14 王英军.基于机器视觉的货车侧面防护装置 检测系统研究. 《中国优秀博硕士学位 论文全文 数据库(硕士)》 .2017,(第04期), 审查员 岑乾 (54)发明名称 一种道路两侧设施的缺陷检测方法及装置 (57)摘要 本发明属于道路设施 缺陷检测技术领域， 公 开了一种道路两侧设施的缺陷检测方法及装置， 包括： 获取道路两侧设施的图像， 并将图像输入 到训练好的图像 分割网络， 得到护栏掩膜和遮光 板掩膜； 根据得到的护栏掩膜和遮光板掩膜判断 护栏和遮光板是否存在缺陷， 对护栏掩膜采集候 选边缘点， 获取拟合边界直线， 根据候选边缘点 到拟合边界的距离判断是否存在缺陷； 对遮光板 掩膜进行边缘检测得到边缘轮廓信息， 由边缘轮 廓信息得到最小外接矩形， 根据最小外接矩形的 长边方向判断遮光板的倾斜缺陷； 根据遮光板的 中心距离判断缺失缺陷。 本发明通过图像分割网 络和视觉算法检测高速公路护栏、 遮光板的损坏 信息， 实现自动化检测， 提高检测 效率也保障了 道路的通行效率。 权利要求书2页 说明书6页 附图3页 CN 114565771 B 2022.07.26 CN 114565771 B 1.一种道路两侧设施的缺陷检测方法， 其特 征在于， 包括： 获取道路两侧设施 的图像， 并将图像输入到训练好的图像分割 网络， 得到护栏掩膜和 遮光板掩膜； 根据得到的护栏掩膜和遮光板掩膜判断护栏和遮光板是否存在缺陷， 具体为： 对护栏掩膜沿列 方向进行遍历搜索并采集候选边缘点， 通过随机抽 样一致算法选择护 栏边界内点并通过最小二乘法拟合边界直线； 根据所有候选边缘点到拟合边界的距离判断 是否存在缺陷， 候选边 缘点为掩膜边 缘的像素点； 对遮光板掩膜进行边缘检测， 得到每个遮光板的边缘轮廓信息， 根据每个遮光板的边 缘轮廓信息得到每个遮光板的最小外接矩形， 根据最小外接矩形的长边方向判断遮光板的 倾斜缺陷； 对边缘轮廓信息从左到右进行排序， 并计算相邻两个独立个体的中心点的距离 是否大于预设的间隔， 若大于则遮光板存在缺失缺陷； 所述根据所有候选边 缘点到拟合 边界的距离判断是否存在检测缺陷， 具体为： 当候选边缘点到拟合边界的距离大于第 一阈值时， 判断护栏存在断裂缺陷并标记断裂 缺陷的位置； 当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时， 判断护栏存 在弯曲缺陷并标记 弯曲缺陷的位置 。 2.根据权利要求1所述的一种道路两侧设施的缺陷检测方法， 其特征在于， 所述图像分 割网络的图像分割流 程包括： 图像经过卷积网络采样后分为两个分支结构进行深度采样； 第一支由五个不同大小的卷积核的池化层提取深度语义特征， 得到五个相对应的特征 图， 然后通过1x1的卷积对五个特 征图进行融合得到第一中间特 征图； 第二支由1x1的卷积核深化特 征图中的目标定位信息得到第二中间特 征图； 将上采样后的第一中间特征图和第二中间特征图合并， 然后对合并结果进行3x3的卷 积和上采样得到护栏掩膜、 遮光板掩膜和背景掩膜。 3.根据权利要求2所述的一种道路两侧设施的缺陷检测方法， 其特征在于， 所述背景掩 膜为一切不属于需要检测的目标的像素点 集合。 4.根据权利要求1所述的一种道路两侧设施的缺陷检测方法， 其特征在于， 所述根据最 小外接矩形的长边方向判断遮光板的倾 斜缺陷， 具体为： 以最小外接矩形的长边方向作为遮光板的倾斜判断基准， 获取长边方向的角度并判断 长边方向的角度是否大于第一角度， 若大于则判断遮光板倾 斜并标记遮光板的位置 。 5.根据权利要求1所述的一种道路两侧设施的缺陷检测方法， 其特征在于， 在进行缺失 缺陷的判断时， 根据图像的缩放关系对图像尺寸进行调整以确定实际间隔。 6.一种道路两侧设施 的缺陷检测装置， 其特征在于， 包括： 图像采集模块、 图像分割模 块、 缺陷分析模块和结果输出模块； 所述图像采集模块， 用于获取道路两侧设施的图像； 所述图像分割模块， 用于将获取到的图像输入到训练好的图像分割 网络， 得到护栏掩 膜和遮光板掩膜； 所述缺陷分析模块， 用于对护栏掩膜沿列方向进行遍历搜索并采集候选边缘点， 通过 随机抽样一致算法选择护栏边界内点并通过最小二乘法拟合边界直线； 根据所有候选边缘 点到拟合边界的距离判断是否存在缺陷， 候选边缘点为掩膜边缘的像素点； 对遮光板掩膜权　利　要　求　书 1/2 页 2 CN 114565771 B 2进行边缘检测， 得到每个遮光板的边缘轮廓信息， 根据每个遮光板的边缘轮廓信息得到每 个遮光板的最小外接矩形， 根据最小外接矩形 的长边方向判断遮光板的倾斜缺陷； 对边缘 轮廓信息从左到右进 行排序， 并计算相邻两个独立个体的中心 点的距离是否大于预设的间 隔， 若大于则遮光板存在缺失缺陷； 所述结果输出模块， 用于将缺陷分析模块所 得到的缺陷输出； 所述根据所有候选边 缘点到拟合 边界的距离判断是否存在检测缺陷， 具体为： 当候选边缘点到拟合边界的距离大于第 一阈值时， 判断护栏存在断裂缺陷并标记断裂 缺陷的位置； 当候选边缘点到拟合边界的距离小于第一阈值大于第二阈值时， 判断护栏存 在弯曲缺陷并标记 弯曲缺陷的位置 。 7.根据权利要求6所述的一种道路两侧设施的缺陷检测装置， 其特征在于， 所述图像分 割网络的图像分割流 程包括： 图像经过卷积网络采样后分为两个分支结构进行深度采样； 第一支由五个不同大小的卷积核的池化层提取深度语义特征， 得到五个相对应的特征 图， 然后通过1x1的卷积对五个特 征图进行融合得到第一中间特 征图； 第二支由1x1的卷积核深化特 征图中的目标定位信息得到第二中间特 征图； 将上采样后的第一中间特征图和第二中间特征图合并， 然后对合并结果进行3x3的卷 积和上采样得到护栏掩膜、 遮光板掩膜和背景掩膜。 8.根据权利要求6所述的一种道路两侧设施的缺陷检测装置， 其特征在于， 所述根据最 小外接矩形的长边方向判断遮光板的倾 斜缺陷， 具体为： 以最小外接矩形的长边方向作为遮光板的倾斜判断基准， 获取长边方向的角度并判断 长边方向的角度是否大于第一角度， 若大于则判断遮光板倾 斜并标记遮光板的位置 。权　利　要　求　书 2/2 页 3 CN 114565771 B 3