(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200631.9 (22)申请日 2022.09.29 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市南郊翟山 申请人 江苏华图矿业科技有限公司 (72)发明人 王奕　程德强　寇旗旗　张华强　 陈俊辉　韩成功　吕晨　张皓翔　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 俞晓梅 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向矿井煤流AI视频分析的异物识别 系统及方法 (57)摘要 本发明公开了一种面向矿井煤流AI视频分 析的异物识别系统， 属于图像处理技术领域， 包 括数据收集模块， 采用工业相机对履带上的煤流 进行实时视频监控收集； 黑夜检测模块， 采用改 进的U‑net网络结构作为模型， 对底片进行预测 得到RGB图片； YOLOv4模块， 用于对RGB图片进行 预测得到目标的位置和类别， 使用CSPDarknet53 作为该模块整体网络模型的主干网络。 基于此还 提供了一种面向矿井煤流AI视频分析的异物识 别方法， 利用加入黑夜检测模块对底片进行预测 得到RGB图片， 解决了光线 不足能见度低的问题， 然后用YOLO  v4模块对RGB进行预测得到目标的 位置和类别， 提高了矿井异物识别算法的检测精 度和检测速度。 权利要求书3页 说明书6页 附图4页 CN 115439793 A 2022.12.06 CN 115439793 A 1.一种面向矿井煤流AI视频分析的异物识别系统， 其特征在于， 包括数据收集模块、 黑 夜检测模块和YOLOv4模块， 其中： 数据收集模块， 采用工业相机对履带上的煤流进行实时的视频监控， 然后通过光纤设 备将工业相机采集的视频传输 到超高性能的计算机平台上； 黑夜检测模块， 采用改进的U ‑net网络结构作为黑夜检测模型， 所述U ‑net网络结构由 解码器和编码器构成， 用于对底片进 行预测得到RGB图片， 所述编码 器通过卷积层和池化层 进行特征提取； YOLOv4模块， 用于对RGB图片进行预测从而得到目标的位置和类别， 使用CSPDarknet53 作为该模块整体网络模 型的主干网络进 行特征提取； 并在Neck网络部 分加入SPP模块和FPN +PAN模块用于融合 不同尺度的特 征图和提升特 征提取能力。 2.根据权利要求1所述的一种面向矿井煤流AI视频分析的异物识别系统， 其特征在于， 在所述黑 夜检测模块中， 通过将收集的正常光数据集利用知识 提取的方法输出其潜在特征 训练生成IT—layer模型， 将所述IT—layer模型加 入到黑夜检测模型， 后使ND数据集输入 到黑夜检测模型中并经 过其中的IT—layer模型 得到伪造RGB数据集； 在训练生成IT—layer模型时， 首先收集在井下拍摄的光线不足情况下的锚杆和大块 数据集称为ND数据集， 收集大量井下在光线充足的情况下的锚杆和大块数据集称为正常光 数据集； 将所述正常光数据集作为一个 真实RGB数据集， 将ND数据集经过黑 夜检测模型的编 解码结构处理之后的数据集作为伪造RGB数据集， 利用所述真实RGB数据集和伪造RGB数据 集训练生成IT—layer模型， 并利用伪造RGB数据集与 真实RGB数据集形成 的损失函数L1不 断优化生成 的IT—layer模型； 将真实RGB数据集通过IT—layer模型后生成伪造真实数据 集FTR， 将所述伪造 真实数据集传 入黑夜检测模 型中， 与ND数据集经过黑 夜检测模型中的编 码器E1得到的FeR数据集形成的损失函数L2对黑夜检测模型进行优化， 得到更精确的伪造 RGB数据集。 3.根据权利要求2所述的一种面向矿井煤流AI视频分析的异物识别系统， 其特征在于， 所述损失函数L1为： L1＝||TR‑FR||1 其中TR为真实 RGB数据集； FR为伪造RGB数据集； 所述损失函数L2为： 其中E1为黑夜检测模型中的编码器； 生成的IT—layer模型是编码器的映射函数记为 E2。 4.根据权利要求2所述的一种面向矿井煤流AI视频分析的异物识别系统， 其特征在于， 所述主干网络CSPDarknet53包含CBM模块和5个CSP模块， 所述CBM模块是由Conv、 BN以及 Mish激活函数 组成的； CSP模块是将 输入层的特征映射划分为两个部 分， 然后将该两个部 分 合并起来； 图片在经过CSP模块后将生 成一个76*76的特征映射， 经过下采样后生成38 *38的 特征映射， 在经 过一次下采样后， 生成19*19的特 征映射。 5.根据权利要求4所述的一种面向矿井煤流AI视频分析的异物识别系统， 其特征在于， 在所述主干网络 CSPDarknet53中加入dropbl ock模块用于提高YOLOv4模型的泛化能力。权　利　要　求　书 1/3 页 2 CN 115439793 A 26.根据权利要求4或5所述的一种面向矿井煤流AI视频分析的异物识别系统， 其特征在 于， 所述SPP模块通过融合不同大小的最大池化层来获得鲁棒的特征表示， 分别使用1x1， 5x5， 9x9， 13x13最大池化的进行融合； FPN特征金字塔网络， 是 自顶向下的结构可以传达强 语义特征， PAN是自底向上的结构用来传达强定位特征； PA Net网络的PAN结构是将 两个相同 大小的特征映射执行按位加操作， 所述YOLOv4模块中使用Concat操作来代替该按位加操 作； 在进行特征提取后， 将图片输入Neck网络， 所述SPP模块分别使用1x1， 5x5， 9x9， 13x13最 大池化的对图片进行融合后， 传入FPN结构中， 依次对19*19、 38*38、 76*76执行融合操作， 即 先对比较小的特征映射层执行上采样操作， 将其调整成相同大小， 然后将两个同等大小的 特征映射叠加起来； 接着将其传入PAN结构中， 经过两个PAN结构， 将76*76大小的特征映射 重新调整为 19*19大小， 然后 将输出的三个特征图作为有效特征输入预测头， 对目标的类别 和位置进行回归。 7.根据权利要求6所述的一种面向矿井煤流AI视频分析的异物识别系统， 其特征在于， 所述预测头 部分的损失函数为CIOU  Loss损失函数： 其中， Distance_22： 计算两个中心点的欧氏距离； Distance_C2： 计算框图对角线之 间的 欧氏距离； v： 衡量长 宽比一致性的参数。 8.一种面向矿井煤流AI视频分析的异物识别方法， 其特征在于， 实施权利要求1 ‑7任一 项所述的一种面向矿井煤流AI视频分析的异 物识别系统， 方法具体步骤 包括： 步骤a： 通过数据收集模块获取矿井煤流实时视频监控数据， 另外收集ND数据集， 分为 训练集和验证集； 收集 正常光数据集， 分为训练集和验证集； 步骤b， 建立面向矿井煤流AI视频分析的异物识别系统的黑夜检测模块和YOLOv4模块； 在所述黑 夜检测模块中， 通过将收集的正常光数据集利用知识 提取的方法输出其潜在特征 训练生成IT—layer模型； 步骤c， 将ND数据集输入到包含有IT—layer模型的黑夜检测模型中进行预测得到RGB 图片数据集； 步骤d， 将步骤c得到的RGB图片数据 集分为训练集和验证集， 通过该训练集对YOLOv4模 型进行训练， 该验证集对所述YOLOv4模型的学习能力进行初步评估以及帮助调整模型参 数； 最后将优化后的YOLOv4模型应用于整个异物识别检测系统中， 对矿井煤流进行实时视 频分析。 9.根据权利要求8所述的一种面向矿井煤流AI视频分析的异物识别方法， 其特征在于， 所述步骤d还包括对RGB图片数据集的预 处理， 所述预处理方法包括： 将RGB图片数据集输入 到YOLO v4模型的输入端， 将尺寸为608*608的图片输入并进行归一化等操作， 得到网络的 输入大小； 且在输入端对图像采用马赛克增强法算法进行马赛克数据增强的处理， 并利用 CMBN、 SAT进行自对抗训练。 10.根据权利要求9所述的一种面向矿井煤流AI视频分析的异物识别方法， 其特征在 于， 所述马赛克增强法算法值基于Cutmix 数据增强改进得到的， 马赛克增强法算法采用4张 图片， 按照随机缩放， 随机裁剪以及随机排布的方式进 行拼接； 所述CMBN由初代的BN模块进权　利　要　求　书 2/3 页 3 CN 115439793 A 3