(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210829369.8 (22)申请日 2022.07.15 (71)申请人 广东恒利混凝 土制品有限公司 地址 528200 广东省佛山市南海区狮山 镇 横岗村马洞股份合作经济社地段的地 块 (72)发明人 钟思凯　周燕　陶啟权　曾凡智　 余家豪　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06T 7/60(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) G01V 8/10(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进ResNet网络的传送带实时判空检 测方法与系统 (57)摘要 本发明公开了一种基于改进ResNet网络的 传送带实时判空检测方法与系统， 包括： 平行放 置半圆量角器在传送带的拍摄区域上， 按比例计 算摄像头拍摄的像素焦距； 对传送带上的图像进 行数据划分， 并对其中砂子和矿石图像的训练集 进行数据增 强扩充； 构建改进ResNet网络， 并对 网络进行训练； 测试得到网络预测传送带判空的 多分类模型； 本发明通过改进ResNet网络对传 送 带上的拍摄的图像区域的特征信息进行提取， 由 于引入改进的SE注意力机制， 可对残差模块输出 的特征图做局部语义信息增强， 不仅大幅度减少 了网络的参数量和计算量， 提高传 送带判空识别 的检测效果， 而且有效提高传送带的生产效率以 及节省用电消耗， 在工业界具有广阔的应用前 景。 权利要求书7页 说明书14页 附图4页 CN 115205363 A 2022.10.18 CN 115205363 A 1.基于改进ResNet网络的传送带实时判空检测方法， 其特征在于， 该改进ResNet网络 是对原来ResNet网络进行两部分改进， 第一部分是对原来ResNet网络的残差模块进行改 进： 将原来的3 ×3卷积层改为利用3 ×3、 5×5、 7×7卷积层来构建并联特征提取， 通过并联 卷积操作提取不同特征进行差值操作， 从而提取出图像轮廓边缘的特征信息， 最后将并联 提取的两个差值特征进行融合操作， 获取局部最优的特征信息； 第二部分是在残差模块后 加入改进的SE注 意力机制， 对SE注 意力机制的改进 是将Excitation操作中的通道系数调整 改为利用通道标准化激活， 从而避免了在通道调整的过程中造成参数丢失， 通过将改进的 SE注意力机制提取得到的特征进 行信息聚合， 从而有效地对 经过残差模块提取的特征做注 意力增强， 使网络从全局信息的角度对各个阶段提取的特 征图进行权值优化； 该传送带实时判空检测方法的具体实施包括以下步骤： 1)传送带作业之前， 先平行放置半圆量角器在传送带的拍摄区域上， 摄像头通过监控 画面拍摄标定的半圆量角器照 片， 通过拍摄的照 片计算标定物在水平方向上所占单位像素 点的数量， 按照比例计算摄 像头与传送带的距离， 即摄 像头拍摄的像素焦距； 2)确定摄像头的像素焦距后， 通过摄像头采集传送带启动和工作过程中的图像， 自定 义构建传送带数据集， 数据集包括空传送带图像、 砂子图像和矿石图像， 针对砂子图像和矿 石图像做数据增强以扩充数据集， 将增强后的砂子图像、 矿石图像以及空传送带图像按设 定的比例划分为训练集、 验证集和 测试集； 3)将训练集分批送入改进ResNet网络进行训练， 训练集中的图像经过网络特征提取 后， 通过Softmax函数得到识别图像 分类的概率值， 将二元 交叉熵损失与人工采集标注的真 实值计算损失值， 最后基于网络计算的损失值进行权重更新， 根据训练过程中迭代的次数 进行优化器调整网络参数， 更新学习率， 且每当特定次数 的网络训练后用验证集对网络的 训练效果进行验证， 迭代进行至验证集的总损失达到最小的状态， 最终得到经训练和验证 后的最优网络； 4)将测试集送入步骤3)得到的最优网络 中， 即可得到网络预测传送带判空 的多分类模 型， 并设定相应的分类值， 将空传送带 的分类值设置为0， 传送带上存在砂子的分类值设置 为1， 存在矿石的分类值设置为2， 记录测试过程中的Top1测试值， 通过最高的测试值得到最 优准确值的评价指标。 2.根据权利要求1所述的基于改进ResNet网络的传送带实时判 空检测方法， 其特征在 于， 在步骤1)中， 安装CCD 工业摄像头在传送带上方， 摄像头电源与继电器接通， 继电器与中 控系统通过接入同一个IP网段进行Socket交互通信， 传送带作业之前， 打开 继电器电源， 启 动摄像头， 平行放置 半圆量角器在传送带的拍摄区域上， 待摄像头与标定物对焦后， 拍摄标 定物的图片， 根据采集的标定物图片计算焦距比例做像素标定： 首先， 将图像从RGB色彩空 间变换至HSV色彩空间， 然后对图像做自适应中值滤波处理， 在频域内对标定物的亮度分量 进行增强， 并保持色调与饱和度的不变， 增强标定物前景的同时， 削弱传送带的背 景低频分 量， 实现对标定物连通区域的像素点进行统计， 将标定物图片的实际标尺信息换算成像素 尺寸大小， 根据标定物计算在水平方向上所占像素点的数量， 按照比例 计算摄像头与传送 带的距离， 建立参照物的像素尺寸大小与实际测量尺寸的对应关系， 根据单位长度上像素 的个数， 将标定比例系数f定义 为：权　利　要　求　书 1/7 页 2 CN 115205363 A 2式中， Spx表示标定图像像素尺寸， Sl表示参照物 实际尺寸； 其中， 计算得到的比例系数 f 即为传送带 上的像素焦距。 3.根据权利要求1所述的基于改进ResNet网络的传送带实时判 空检测方法， 其特征在 于， 在步骤2)中， 确定出摄像头的像素焦距后， 通过摄像头采集传送带工作过程中的图像自 定义构建传送带数据集， 数据集包括空传送带图像、 砂子图像和矿石图像， 预 处理操作流程 包括： 先采用双 线性插值缩放采集原图， 统一尺 寸至分辨率为256 ×256， 对图像进行亮度和 灰度的变换， 然后对变换后的图像进 行中值滤波的操作， 从而对图像进 行降噪去模糊处理， 再对图像做形态学处理， 通过闭操作减少图像在传送带运行过程中存在的噪声干扰， 最后 对图像的像素值进行归一化， 缩放到[0,1]区间； 其中， 对训练集中的砂子图像和矿石图像 做旋转、 翻转、 裁剪操作来进行数据扩充， 旋转采用 ‑30°、‑15°、 15°和30°的取值， 翻转包括 水平翻转、 垂直翻转和水平垂直翻转， 裁剪操作采用随机长宽比3/4 或4/3裁剪； 将预 处理后 的图像按设定比例划分为训练集、 验证集和 测试集。 4.根据权利要求1所述的基于改进ResNet网络的传送带实时判 空检测方法， 其特征在 于， 在步骤3)中， 改进ResNet网络共分为六层架构， 具体情况如下： 第一层架构为7 ×7的卷积操作和3 ×3的最大池化操作， 用于调整输入特征图的尺寸和 将通道数降采样 操作； 第二层至第五层架构为改进的残差模块加上改进的SE注意力 机制增强， 每层架构为重 复两次连续的改进的残差模块与改进的SE注意力机制， 其中， 该改进的残差模块分为五个 步骤提取 特征， 具体情况如下： 第一步为3×3卷积操作降低特 征图的通道维度， 减少网络训练的参数； 第二步为分别由3 ×3卷积操作、 5 ×5卷积操作、 7 ×7卷积操作构成并联形成三个分支 新的特征图， 其过程如下公式(2)、 (3)和(4)： X0＝H(x)*K3             (2) X1＝H(x)*K5             (3) X2＝H(x)*K7             (4) 式中， H(x)表示经过降维输出 的特征图， X0表示经过3 ×3卷积操作后输出 的特征图， K3 表示3×3卷积操作， X1表示经过5 ×5卷积操作后输出的特征图， K5表示5×5卷积操作， X2表 示经过7×7卷积操作后输出的特 征图， K7表示7×7卷积操作； 第三步为通过并联卷积得到的特征图X1与特征图X0相减形成新的特征图X3、 特征图X2与 特征图X1相减形成新的特征图X4， 从而捕捉经过不同卷积得到的特征图之间的差值的对比 度， 增强图像不同语义信息之间的特 征信息， 其过程如下公式(5)、 (6)： X3＝X1‑X0             (5) X4＝X2‑X1             (6) 式中， X3表示特征图X1与特征图X0相减得到的特征图， X4表示特征图X2与特征图X1相减 得到的特 征图； 第四步为特征图X3与特征图X4进行融合后， 通过跳跃连接， 将输入改进的残差模块原始 的特征图以通道为轴的方式串联形成新的特征 图X5， 将差值操作得到的特征图进行融合，权　利　要　求　书 2/7 页 3 CN 115205363 A 3