(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210795511.1 (22)申请日 2022.07.06 (71)申请人 大连沣毅电力科技有限公司 地址 116000 辽宁省大连市沙河口区成仁 街367号 (72)发明人 李玉玉　董华军　李籽骁　 (74)专利代理 机构 北京圣州专利代理事务所 (普通合伙) 11818 专利代理师 刘岩 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/12(2022.01) G06V 10/26(2022.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 基于视觉目标检测技术的铁路货检识别系 统及方法 (57)摘要 本发明公开了一种基于视觉目标检测技术 的铁路货检识别系统， 包括： 图像采集机构， 用于 实时采集货车外观、 货车行驶状态、 货物 状态、 货 物装载加固状态信息并转换为图像信号； 图像处 理机构， 用于获取图像采集机构 采集的图像信号 再对其进行低层预处理并在转换为数字信号后 传输至服务器； 服务器， 用于利用分割提取的图 像特征基于卷积神经网络训练分类识别模型； 再 利用训练好的分类识别模型对采集的图像进行 分类识别。 本发 明采用上述结构的基于视觉目标 检测技术的铁路货检识别系统， 可全天候监测， 且画面质量不受雨、 雪、 大风等恶劣天气影 响； 货 车通过视频监测位置后， 即可实时在监控终端察 看； 同时具有识别效果佳、 判别清晰、 精准， 安全 实效优等优点。 权利要求书2页 说明书5页 附图3页 CN 115240138 A 2022.10.25 CN 115240138 A 1.一种基于 视觉目标检测技 术的铁路货检识别系统， 其特 征在于： 包括： 图像采集机构， 用于实时采集货车外观、 货车行驶状态、 货物状态、 货物装载加固状态 信息并转换为图像信号； 所述图像处理机构， 用于获取所述图像采集机构采集的图像信号再对其进行低层预处 理并在转换为数字信号后传输 至服务器； 所述服务器， 用于利用分割提取的图像特征基于卷积神经网络训练分类识别模型； 再 利用训练好的分类识别模型对 采集的图像进行分类识别。 2.根据权利要求1所述的基于视觉目标检测技术的铁路货检识别系统， 其特征在于： 所 述图像采集机构包括设置于货车上方 的千兆级彩色线阵相机以及靠近所述千兆级彩色线 阵相机设置的照明灯。 3.根据权利要求2所述的基于视觉目标检测技术的铁路货检识别系统， 其特征在于： 所 述图像处理机构包括基于labV IEW算法的图像获取模块和用于对图像进 行低层预 处理的图 像预处理模块； 所述低层预处 理至少包括图像去噪、 图像增强和图像复原。 4.根据权利要求3所述的基于视觉目标检测技术的铁路货检识别系统， 其特征在于： 所 述服务器包括训练机构和分类识别机构： 所述训练机构包括： 图像分割模块， 用于利用atrous卷积的深度卷积神经网络DeepLab ‑v3模型或者 DeepLab‑v3+模型， 实现图像分割； 特征提取模块， 用于利用Hessianaffine算子找到具备不变性或稳定性的特征区域或 特征点， 再利用k ‑fan模型进行 特征区域描述； 模型学习模块， 用于通过深度学习目标检测的TensorFlow和yolov5优化模型对图像样 本自主提取 特征进行训练学习； 模型构建模块， 用于根据模型 学习模块的训练结果构建 分类识别模型。 5.根据权利要求4所述的基于视觉目标检测技术的铁路货检识别系统， 其特征在于： 分 类识别机构， 用于利用卷积神经网络对提取后的图像特征进行分类， 再利用Tensorflow进 行多尺度残差神经网络ResNet学习， 而后残差网络利用恒等快捷连接构造残差模块， 改变 网络学习目标， 学习输出与输入之间的差别得出目标函数， 最后利用ResNet的残差模块对 后续图像及视频 数据进行识别处 理。 6.根据权利要求5所述的基于视觉目标检测技术的铁路货检识别系统， 其特征在于： 所 述卷积神经网络包括包括依次设置的输入层、 C1层、 S2层、 C3层、 S4层以及全连接层， C1层和 C3层为卷积层， S2层和S4层为降采样层。 7.一种基于上述权利要求1 ‑6任一项所述的基于视觉目标检测技术的铁路货检识别系 统的方法， 其特 征在于： 包括以下步骤： S1、 将大量采集到的图像用来作为 算法训练测试的图像样本； S2、 利用图像处 理机构进行图像的预处 理； S3、 利用图像分割模块将预处 理的图像进行区域分割； S4、 利用特 征提取模块对分割处 理后的图像进行 特征提取 S5、 利用模型 学习模块对大量样本进行训练学习；权　利　要　求　书 1/2 页 2 CN 115240138 A 2S6、 基于训练学习的结果构建 分类识别模块； S7、 将图像采集机构实时采集的图像输入训练好的分类识别机构中进行分类识别。 8.根据权利要求7所述的基于视觉目标检测技术的铁路货检识别系统的方法， 其特征 在于： 步骤S3采用De epLab‑v3模型具体包括以下步骤： 输入图像经过卷积池化后， 图像尺寸缩小4倍， 再依次经过3个Block模块进行卷积、 线 性整流函数、 池化处理， 图像依次缩小8、 16、 16倍， 然后经过Block4处理后进入ASPP模块， ASPP通过融合多孔卷积处理后， 与1 ×1卷积层、 全局池化层 进行整合， 得到缩小16倍的特征 图， 再进行分类预测得到分割图。 9.根据权利要求7所述的基于视觉目标检测技术的铁路货检识别系统的方法， 其特征 在于： 步骤S3采用De epLab‑v3+模型具体包括以下步骤： 对图像处理后 输出DCNN中浅层 特征图和经过ASPP融合卷积后的特征图， 并将两者作 为 解码部分的输入， 进入解码模块， 先对输入的DCNN中浅层特征图卷积， 再与经过上采样的 ASPP特征图进 行融合， 最后经过卷积、 上采样操作输出原始尺 寸大小的分割图， 实现端到端 的语义分割。权　利　要　求　书 2/2 页 3 CN 115240138 A 3