(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210776845.4 (22)申请日 2022.07.04 (71)申请人 上海建工四建集团有限公司 地址 201103 上海市浦东 新区耀华路251号 (72)发明人 何瑞琦　许璟琳　刘寅　余芳强　 张铭　辛佩康　赵震　张明正　 (74)专利代理 机构 上海智力专利商标事务所 (普通合伙) 31105 专利代理师 周涛 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于热成像的道路路面积水结冰的检 测方法及系统 (57)摘要 本发明涉及到一种基于热成像的道路路面 积水结冰的检测方法， 该方法包括有： 第一步， 同 位热红外与可见光图像采集； 第二步， 热红外与 可见光图像预处理与图像融合； 第三步， 对融合 图像特征进行数据标注； 第四步， 训练积水结冰 自动识别模型； 第五步， 对后续巡检采集的视频 数据进行自动识别， 第六步， 积水结冰病害的宽 度和面积； 本发 明还涉及到一种基于热成像和深 度学习的道路路面积水及结冰的检测系统。 本发 明的检测方法及检测系统能够克服单一采用视 频巡检的不足， 能够实现全天候巡检， 检测准确 率高， 计算及判断准确可靠 。 权利要求书3页 说明书8页 附图2页 CN 115063389 A 2022.09.16 CN 115063389 A 1.一种基于热成像的道路路面积水结冰的检测方法， 该方法用于市政路面的积水及结 冰的病害检测， 其特 征在于， 该检测方法包括如下步骤： 第一步， 同位热红外与可见光图像采集， 利用车载双光红外热像仪对市政路面进行视 频拍摄， 获取同一条道路的可 见光视频与热红外 视频； 第二步， 热红外与可见光图像预处理与图像融合， 在拍摄的视频数据中提取出重叠度 为e的热红外图像和可见光图像， 将热红外图像与可见光图像转化成灰度图， 提取图中位 置、 尺度和方向的关键点作为特征点， 为特征点计算建立描述子向量， 计算特征描述子并对 特征点进行匹配， 在同一平面中根据热红外图像与可见光图像中多对匹配点计算单应矩 阵， 对选取的热 红外图像和可见光图像中所有点进 行匹配， 进 行图像视角转换， 实现每对可 见光图像与对的热红外图像的配准； 第三步， 对融合图像特征进行数据标注， 根据各自特征获得可见光图像与热红外 图像 的积水结冰区域的矩形框， 对矩形框位置进 行并集运算， 人工复核删减非积水结冰区域， 得 到积水结冰区域的实际最小包围矩形与标注数据， 分别处理可见光图像与热红外图像， 综 合提取两种图像的特 征权重， 并按照权 重进行融合， 使得 标注数据与融合图像一 一对应； 第四步， 训练积水 结冰自动识别模型， 得到不同训练次数 下的模型权 重文件； 第五步， 利用训练完成的自动识别模型， 深度 学习得到标注完成的融合图像， 将后续巡 检采集的视频 数据进行自动识别， 获得 带有矩形框和标注数据的图片； 第六步， 积水结冰病 害的宽度和面积， 根据 可见光与热红外 融合图像， 确定积水结冰区 域的具体边界线， 根据像素点数与图片整体宽度像素点数比例计算积水结冰区域宽度和面 积。 2.根据权利要求1所述的一种基于热成像的道路路面积水结冰的检测方法， 其特征在 于， 所述第一 步中同位采集热红外图形与可 见光图像的过程包括有： S11.校准双光红外热像仪， 该双光红外热像仪上设有可采集热红外视频的摄像头和采 集可见光视频的摄像头， 根据拍摄角度α及对地面距离h计算视频长宽对应现实尺度为l × w， 单位为mm， 根据拍摄视频像素长宽m ×n， 单位为px， 计算单位像素距离值 单 位像素面积值 S12.利用巡检车在市政道路上运动， 其上的车载双光红外热像仪对路面进行视频拍 摄， 获取同一条路的可 见光视频与热红外 视频。 3.根据权利要求1所述的一种基于热成像和深度学习的道路路面积水及结冰的检测方 法， 其特征在于， 所述第二 步中图像预处 理与图像融合的实现过程包括有： S21.对拍摄的视频数据根据车速v(km/h)， 拍摄间隔Δt(s)， 提取出重叠度为e的热红 外图像img1和可见光图像img2， 并满足 常量3600 表示1小时3600秒， 1000000表示1千米1000000毫米， 该公式表示该车速下以前后两张 图像 的重叠度等于车辆行驶的距离， 以完成对道路的完整覆盖； S22.分别将一对热红外图像与可见光图像转化为灰度图， 使用sift算法提取含有位置、 尺 度和方向的关 键点即为特征点， 提取特征点后为特征点计算建立一个描述子向量， 描述子与权　利　要　求　书 1/3 页 2 CN 115063389 A 2特征点所在尺度有关， 描述子向量为H＝(h1， h2， ...， h128)， 常量128表示128维， 去除光照影 响后得到归一化后的特征向量L＝(l1， l2， ...， l128)， 即 计算 特征描述子并对特征点进行匹配， 即满足红外图像中关键点描述子向量Ri与可见光图像中 需配对关键点描述子Si间相似性度量, 小于红外图像 中关键点描述子与可 见光图像中任一关键点描述子间相似性度量； S23.假设匹配点在同一平面中， 即Z＝0， 根据热红外图像与可见光图像中4对以上匹配点对 计算单应矩阵 满足 计算出单应矩阵后对热红外图像img1和可见光图像img2中所有点进行匹配， 实现图像的配 准； S24.所有的可见光图像与对应的热红外图像对都采用相同的映射关系， 其单应性矩阵 不变， 根据单应矩阵实现每对可 见光图像与对应的热红外图像的配准。 4.根据权利要求3所述的一种基于热成像的道路路面积水结冰的检测方法， 其特征在 于， 在图像融合后， 若存在可见光图像和热 红外图像画幅大小不同的情况， 需对配准后的图 像进行剪 裁， 得到对应两图像的交集部分。 5.根据权利要求1所述的一种基于热成像的道路路面积水结冰的检测方法， 其特征在 于， 所述第三 步在对融合图像进行 数据标注时执 行如下操作： S31.对可见光图像,根据图像的纹理特征， 采用人工的形式利用矩形框标注积水结冰 区域； S32.对热红外图像， 根据像素点温度t来提取温度不同区域At的轮廓特征， 获取轮廓特 征在x轴、 y轴方向的最大长度获取其 最小包围矩形lt×wt； S33.对S31和S32确定的矩形框位置进行并集运算， 人工复核删减非积水结冰区域， 得 到积水结冰区域的实际最小包围矩形框及其标注数据。 6.根据权利要求5所述的一种基于热成像的道路路面积水结冰的检测方法， 其特征在 于， 所述第四步中训练积水 结冰自动识别模型的过程如下： S41.利用基于非下采样轮廓波变换的融合算法处理热红外与可见光图像， 即分别将热 红外图像与可见光图像进行NSP分解为高频系数U0与低频系数U1， 将热红外图像与可见光图 像的低频系 数加权平均， 高频系 数取最大绝对值， 综合提取热红外图像与可见光图像的特 征权重， 并按权 重进行融， 将S3 3中的标注数据与融合图像一 一对应； S42.利用YOLOv3网络， 用已预训练的DarkNet53网络模型， 输入训练集与验证集图片， 设定以上所述参数及 迭代次数， 可设置每迭代n次输出权重文件， 当输出平均损失Loss小于 某阈值， 及预测值与真实值偏移量小于某阈值时即完成训练， 训练后可 得到模型权 重文件。 7.根据权利要求6所述的一种基于热成像的道路路面积水结冰的检测方法， 其特征在 于， 在所述第六步中， 获得 带有矩形框和标注数据的图片的过程 为： S51.通过差分高斯滤波算法处理热红外与可见光 融合图像imgmix， 设置两次高斯滤波权　利　要　求　书 2/3 页 3 CN 115063389 A 3