(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221013128 8.0 (22)申请日 2022.02.11 (71)申请人 国网河南省电力公司电力科 学研究 院 地址 450000 河南省郑州市二七区嵩 山南 路85号 申请人 国网河南省电力公司 (72)发明人 郭志民　田杨阳　王会琳　王棨　 卢明　李哲　姜亮　刘昊　赵健　 张劲光　董武亮　张焕龙　刘善峰　 梁允　王超　袁少光　王津宇　 毛万登　贺翔　李威　魏小钊　 许丹　 (74)专利代理 机构 北京智绘未来专利代理事务 所(普通合伙) 11689 专利代理师 王萍(51)Int.Cl. G06V 20/10(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于深度学习的智能巡检指针式仪表 识别及读数方法 (57)摘要 本发明提供了一种基于深度学习的智能巡 检指针式仪表识别及读数方法， 包括： 获取原始 仪表图像数据， 对原始图像数据进行预处理后划 分为训练集和测试集； 构建仪表识别模型， 并通 过训练集和测试集对其进行训练， 得到训练后的 仪表识别模 型； 将采集到的待检测图像输入训练 后的仪表识别模 型进行目标检测， 得到含有仪表 的图像； 对含有仪表的图像进行预处理和校畸； 对校畸后的图像进行处理并进行异常判断； 对通 过异常判断后的仪表图像进行刻度提取， 提取出 仪表图像中用于读数的刻度线和指针； 检测出表 盘的外圆并将其展开为矩形， 根据指针位置进行 读数计算， 得到仪表的读数结果。 本发明能够对 各角度场景下的圆形仪表盘实现准确检测和读 数。 权利要求书2页 说明书9页 附图7页 CN 114549981 A 2022.05.27 CN 114549981 A 1.一种基于深度学习的智能巡检指针式仪表识别及读数方法， 其特征在于， 包括以下 步骤： 步骤1， 通过巡检机器人获取原始仪表图像数据， 对原始图像数据进行预处理后划分为 训练集和 测试集； 步骤2， 构建仪表识别模型， 并通过训练集和测试集对其进行训练， 得到训练后的仪表 识别模型； 步骤3， 将巡检机器人采集到的待检测图像输入训练后的仪表识别 模型进行目标检测， 得到含有仪表的图像； 步骤4， 对 含有仪表的图像进行 预处理， 并对预处 理后的图像进行 校畸； 步骤5， 对校畸后的图像进行处 理并进行异常判断， 去除异常表盘图像； 步骤6， 对通过异常判断后的仪表图像进行刻度提取， 提取出仪表图像 中用于读数的刻 度线和指针； 步骤7， 检测出表盘的外圆并将其展开为矩形， 根据指针位置进行读数计算， 得到仪表 的读数结果。 2.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤1中， 预处理包括挑选出包含倾斜仪表的图像和包含正常仪表的图像作为后 续训练使用的图像， 划分后的训练集图像和 测试集图像分别占总图像数的75％和25％。 3.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤2中， 仪表 识别模型基于 YOLOv3算法进行构建。 4.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤4还包括以下步骤： 步骤4‑1， 对得到的含有仪表的图像进行 预处理； 步骤4‑2， 基于透视变换对预处 理后的图像进行倾 斜校正； 步骤4‑3， 基于仿射变换对倾 斜校正后的图像进行旋转校正， 得到校畸后的仪表图像。 5.根据权利要求4所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤4‑1中的预处 理还包括： 对仪表识别模型检测出的倾 斜仪表图像进行 灰度化处 理； 对图像进行 滤波降噪的处 理， 平滑图像边 缘； 获取图像灰度值的平均值作为图像的亮度均值； 对图像进行二值化处理， 取亮度均值为分割 线， 作为二值化分割的界限， 图像二值化后 得到图像的分割掩码； 对获取到的分割掩码进行膨胀和腐蚀操作， 使得分割边 缘更加圆滑。 6.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤5还包括：权　利　要　求　书 1/2 页 2 CN 114549981 A 2步骤5‑1， 对经过校畸后的图像从中心点进行裁 剪， 得到只包 含表盘区域的图像； 步骤5‑2， 取裁剪后图像的亮度均值， 将该亮度均值作为二值化分割界限， 利用反二值 化的方法处 理校正后的图像， 获取指针 轮廓； 步骤5‑3， 对获取到的分割掩码做腐蚀膨胀处理， 降低非指针的黑色区域图像噪点的影 响。 然后找出掩码轮廓点， 保留轮廓上的所有点。 步骤5‑4， 获取指针与指针的最小外接矩形的中心点， 计算指针与表盘 中心点到垂直向 下线条所形成的夹角度数； 步骤5‑5， 根据夹角度数 范围判断表盘是否异常， 将检测到异常的表盘去除。 7.根据权利要求6所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤5‑4中， 指针的获取还 包括： 计算轮廓包围的面积， 根据面积占比筛 选出可能属于指针的轮廓； 对轮廓拟合 一个最小包裹矩形， 获取图像中心点到轮廓的距离； 轮廓包裹矩形的长宽之比大于2.5， 并且图像中心点到轮廓的距离小于图片宽度的1/ 5， 认为可能是指针的轮廓； 在满足条件下的轮廓中， 选取最大的轮廓作为指针。 8.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤6还包括： 通过对仪表图像 中每个像素点进行密集的预测、 推断标签类进行细 粒度的推理， 使每个像素点都被标记为其封闭对 象仪表读数区域的类别； 利用语义分割算 法， 提取出所需要读数仪表图片的刻度线和指针。 9.根据权利要求1所述的基于深度学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤7还包括以下步骤： 步骤7‑1， 通过霍夫圆检测法检测出表盘的圆形刻度图像， 并将其展开变为矩形图像； 步骤7‑2， 将二维数组转 化为一维数组； 步骤7‑3， 对一维数组进行 数据过滤， 增加区分度； 步骤7‑4， 对刻度与指针进行定位； 步骤7‑5， 结合刻度与指针的数量和位置信息， 进行读数计算。 10.根据权利要求9所述的基于深度 学习的智能巡检指针式仪表识别及读数方法， 其特 征在于， 所述步骤7‑1还包括： 将语义分割出的图像进行滤波降噪处理， 从而平滑图像， 减少噪点对于圆形检测的影 响； 将经过滤波降噪的图像通过霍夫圆检测检测出外圆， 并将其展开 为矩形。权　利　要　求　书 2/2 页 3 CN 114549981 A 3