(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211117976.8 (22)申请日 2022.09.14 (71)申请人 河北工程大 学 地址 056038 河北省邯郸市经济技 术开发 区太极路19号 (72)发明人 刘杰辉　闫汝山　杨立洁　赵海潮　 晋纪岩　 (74)专利代理 机构 郑州立格知识产权代理有限 公司 41126 专利代理师 崔卫琴 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像处理的带式输送机异物识别 方法 (57)摘要 本发明涉及一种基于图像处理的带式输送 机异物识别方法， 改进了图像前处理过程中的降 噪过程， 构建了改进的卷积神经网络， 可 以有效 地实现带式输送机异物检测， 并且 具有识别精度 高， 算法速度快的优点。 本发明用于煤矿开采领 域， 可以有效降低带式输送机故障发生率， 延长 带式输送机使用寿命， 降低事故发生可能， 保障 工人生命安全。 权利要求书2页 说明书5页 附图2页 CN 115272869 A 2022.11.01 CN 115272869 A 1.一种基于图像处 理的带式输送机异 物识别方法， 其特 征在于， 包括， 步骤一： 使用工业相机 CCD采集传送带 上异物图像， 构建异 物数据集； 步骤二： 采用改进的中值滤波即使用自适应中值滤波器对图像进行预处理； 选定初始 滤波窗口为3 ×3， 设定最大窗口尺 寸为13×13， 计算窗口中的图片像素值； 通过A和B两个子 步骤进行 滤波处理， 子步骤A： A1=Gmed ‑Gmin, A2=Gmed‑Gmax, 如果A1>0且A2<0,  跳转到步骤B,  否则， 增 大窗口尺寸； 如果增大后的窗口尺寸满足A1>0且A 2<0， 则重复A,  否则直接 输出Gmed; 子步骤B： B1=Gxy ‑Gmin, B2=Gxy‑Gmax, 如果B1>0且B2<0,  则输出Gxy,  否则输出 Gmed； 上述子步骤中Gmed为窗口中的图片灰度 值的中值， Gmax和Gmin分别为窗口中图片最大 灰度值和最小灰度值， Gxy表示 坐标 (x,y)处的灰度值； 步骤三： 通过引入VGG16网络模型来提取图像的特征和构建RPN网络用来提取候选框， 构建融合VG G16网络和RPN网络的卷积神经网络来 提取图像的特 征， 实现异 物的识别。 2.根据权利要求1所述的一种基于图像处理 的带式输送机异物识别方法， 其特征在于， 步骤一中的构建异物数据集包括： 1） 数据集的初步选取， 从拍摄的图片中选取清晰， 全面的 图片； 2） 数据集的扩充； 3） 对数据集进行 标注； 4） 构建异 物训练数据集以及测试 数据集。 3.根据权利要求2所述的一种基于图像处理 的带式输送机异物识别方法， 其特征在于， 数据集扩充时， 包括对图片进行 水平旋转和随机方向旋转， 来扩充数据集。 4.根据权利要求3所述的一种基于图像处理 的带式输送机异物识别方法， 其特征在于， 构建异物训练数据集以及测试数据集中的训练数据集以及测试数据集图像随机选取， 训练 集图片数量 为18000张， 验证集图片数量 为2000张。 5.根据权利要求1或3所述的一种基于图像处理的带式输送机异物识别方法， 其特征在 于， 采用VGG16为特征提取网络包括， 利用小卷积通过加深网络深度提高模型的性能， 对图 像进行定位与特 征提取， 使用卷积处 理图像， 输出的图像宽和高尺寸 为： 式中： 和 分别表示卷积核 的宽和高， P为在图像边缘填充 的边界 像素层数， S为 步长； 使用池化层对原始数据进行压缩， 减少模型的计算参数， 提升运算效率， 经过池化层处 理的图像， 输出的图像的尺寸 为： 式中： 和 分别表示卷积核的宽和高， 、 和 、 分别表示输入输出的特征图的宽和高， S为步长， 输入的特征图深度和 卷积核深度权　利　要　求　书 1/2 页 2 CN 115272869 A 2一致。 6.根据权利要求5所述的一种基于图像处理 的带式输送机异物识别方法， 其特征在于， 步骤三中构建RPN网络包括， 利用3 ×3的卷积核在共享卷积部分的最后一层输出的特征图 上进行卷积， 即利用3 ×3 的窗口对特征图矩阵做滑窗处理； 每个滑动窗口对应9个与其同 中心的初始建议区域， 称为锚。 7.根据权利要求6所述的一种基于图像处理 的带式输送机异物识别方法， 其特征在于， 步骤三中构建RPN网络还包括， 将锚分别设置为  8×8， 16×16 和 32×32 这3种大小以及 1:1， 1:2和2:1这3种长宽比例， 每个滑动窗口映射出512维特征向量， 然后512维的特征向量 经过两个由全连接层构成的分支： 目标分类层和边框回归层； 目标分类层产生 18个概率值， 用来对9个锚对应的输入图像区域属于前景或背景 的概率进行预测， 边框回归层将分类为 前景的候选区域进行目标定位框预测， 其输出的是锚为接近gr ound truth所需平移和缩放 的四个参数 、 、 、 ， 然后利用上述的四个参数进行RPN训练， 找到每一个锚 对应的最优偏移量。 8.根据权利要求7所述的一种基于图像处理 的带式输送机异物识别方法， 其特征在于， 构建卷积网络还 包括， 将图像归一 化尺寸为224×224， 经过5个卷积层和2个降采样层处 理。权　利　要　求　书 2/2 页 3 CN 115272869 A 3