(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211170008.3 (22)申请日 2022.09.26 (65)同一申请的已公布的文献号 申请公布号 CN 115294103 A (43)申请公布日 2022.11.04 (73)专利权人 征图新视 （江苏） 科技股份有限公 司 地址 213161 江苏省常州市武进经济开发 区锦华路258- 6号 (72)发明人 都卫东　夏海峰　杨飞　 (74)专利代理 机构 常州品益专利代理事务所 (普通合伙) 32401 专利代理师 王涵江 (51)Int.Cl. G06T 7/00(2017.01)G06T 7/10(2017.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 张李一 (54)发明名称 一种基于语义分割的实时工业表面缺陷检 测方法 (57)摘要 本发明涉及一种基于语义分割的实时工业 表面缺陷检测方法， 包括以下步骤， S1、 利用数据 构建模块， 制作工业缺陷数据集； S2、 利用网络模 型构建模块， 搭建语义分割网络和判别器网络； S3、 利用网络模型训练模块， 在构建好的缺陷数 据集上训练模型； S4、 利用缺陷检测模块， 使用训 练好的语义 分割网络进行检测。 本发 明针对工业 场景设计了一个精简的特征提取网络， 可以快速 有效地进行特征提取； 设计了一个轻量化的解码 器来加速缺陷检测， 并通过特征增强模块和特征 融合模块实现有效的高低层信息融合； 设计了一 个全卷积的判别器网络来辅助语义分割网络的 学习， 可以提高推理阶段的分割准确性， 且无需 额外的计算 耗时。 权利要求书1页 说明书6页 附图6页 CN 115294103 B 2022.12.30 CN 115294103 B 1.一种基于语义分割的实时工业表面 缺陷检测方法， 其特 征在于： 包括以下步骤， S1、 利用数据构建模块， 制作工业缺陷数据集： 在稳定的成像结构下进行图像采集， 并 对缺陷区域进 行像素级标注， 按照检测区域将采集到的原图划分裁剪成小图后对得到的小 图通过增强方法进行 数据扩充， 扩充后的小图划分为训练集和验证集； S2、 利用网络模型构建模块， 搭建语义分割网络和判别器网络； 所述的语义分割网络包 括编码器和解码器， 所述的编码器进行特征提取， 所述的解码器对提取 的特征进行增强和 融合并输出分割结果； 所述的语义分割网络包括浅层特征提取部分和深层特征提取部分， 所述的编码器提取 下采样4倍的浅层特 征图以及下采样8倍和16倍大小的深层特 征图； 所述的解码器将编码器提取的下采样8倍和16倍的深层特征通过特征增强模块后送入 特征融合模块， 并与编码器提取的下采样4 倍的浅层特 征进行融合； 判别器网络为Patch ‑GAN全卷积结构， 包括4个4x4卷积核， 步长stride为2， 带bn层和 LeakyRelu激活的卷积层， 进行下采样， 输出通道数分别为32， 64， 128和256， 最后再接一个 1x1的卷积； 所述的判别器网络的输出是一个矩阵， 矩阵上的每一个元素对应着输入中的一 个16x16大小的局部区域； S3、 利用网络模型训练模块， 在构建好的缺陷数据集上训练模型； 训练时， 输入图片经过语义分割网络输出预测结果； 所述的判别器网络采用cGAN的训 练方式， 学习判断输入是语义分割网络预测的结果还是真实标签， 并通过对抗学习使语义 分割网络 输出的结果接 近真实标签； S4、 利用缺陷检测模块， 使用训练好的语义分割网络进行检测。 2.如权利要求1所述的一种基于语义分割的实时工业表面缺陷检测方法， 其特征在于： 所述的语义分割网络最大下采样倍数为16倍， 编码器提取原图的1/4， 1/8和1/16尺寸大小 的特征图用于后续 解码器的特 征增强和融合。 3.如权利要求2所述的一种基于语义分割的实时工业表面缺陷检测方法， 其特征在于： 所述的语义分割网络采用最大池化层替代带步长的卷积层进行 下采样。 4.如权利要求3所述的一种基于语义分割的实时工业表面缺陷检测方法， 其特征在于： 所述的浅层特 征提取部分采用5x5的大 卷积核； 所述的深层特 征提取部分包括残差结构。 5.如权利要求1所述的一种基于语义分割的实时工业表面缺陷检测方法， 其特征在于： 所述的特征增强模块通过在特征空间维度上取均值操作来获取全局语义信息， 然后通过 1x1卷积、 BN层和sigmoid操作来计算一个特征向量对输入特征进行重新加 权， 进行特征筛 选； 所述的特征融合模块将深层特征和浅层特征在通道维度上进行拼接， 然后使用和特征 增强模块中相似的注意力机制操作， 对高低层特 征进行筛 选。权　利　要　求　书 1/1 页 2 CN 115294103 B 2一种基于语 义分割的实时工 业表面缺陷检测方 法 技术领域 [0001]本发明涉及 缺陷检测技术领域， 尤其是一种基于语义分割的实时工业表面缺陷检 测方法。 背景技术 [0002]产品表面缺陷检测是工业自动化生产的重要一环， 基于传统机器视觉的缺陷检测 技术已经在很多工业场景中有效替代了人工目检， 极大地提高了生产效率。 但是 由于工业 缺陷种类的多样性和不可预见性， 很难通过特征工程和常规图像处理算法实现对特征的完 整建模。 而深度卷积神经网络可以通过设计合适的网络结构和一定量的正负样本进行训 练， 就可以自动学习提取特征， 而无需手动提取特征， 因此可以实现更快速更准确的缺陷检 测。 随着以卷积神经网络为代表的深度学习算法在诸多计算机视觉领域的成功应用， 例如 人脸识别、 目标检测、 行人重识别和目标跟踪等， 基于深度学习算法的工业缺陷检测也逐渐 吸引了学术界和工业界的广泛关注。 [0003]语义分割是深度学习的重要研究领域， 是一种像素级分类技术， 可以将目标图像 分割成具有不同语义信息的区域。 相比于人工目检的费时费力和传统机器视觉强依赖于算 法工程师的经验与试错， 基于深度学习的语义分割方法可以实现对缺陷区域端到端的分 割， 因此当需要检测缺陷的位置、 大小和面积等信息时， 语义分割就是最佳的解决方案 。 [0004]语义分割最常规的思 路是采用编解码的结构， 例如经典的全卷积神经网络 （Fully   Convolutional  Networks， 简称为FCN） 。 FCN是一个全卷积化的网络结构， 包含卷积层、 池化 层和反卷积层， 可以接受任意尺寸的输入图像， 通过卷积操作进 行编码下采样， 然后再通过 反卷积操作进行解码上采样， 最后输出像素级的分割预测结果。 [0005]随着深度学习的发展， 语义分割技术已经日趋成熟， 但是在工业领域的应用仍然 存在以下难点： （1） 目前计算机视觉领域下的语义分割研究大多以自然场景为主， 例如常用 的cityscape数据集， 便是涵盖了城市道路、 树、 车和人等物体的自然场景数据集。 工业表 面 缺陷检测相比于自然场景， 包含的语义信息更弱， 通常会存在类间差异小， 类内差异大、 有 模糊地带、 样本不平衡和缺陷级别小等问题。 检测的场景不同， 任务存在的难点也不同， 因 此自然场景下优秀的模型算法往往也不能直接迁移过来使用。 （2） 不同于学术研究可以一 味的追求高精度， 工业表面缺陷检测是需要部署在产品流水线上， 对于检测的实时性有着 非常严苛的要求， 这也意味着 很多复杂的网络和操作无法适用。 （3） 产品质检是对检测精确 度要求非常高的任务， 这直接关系着产品的生产质量， 因此在保证实时性检测的同时还要 兼顾检测的精确度。 发明内容 [0006]本发明要解决的技术问题是： 工业产品在生产过程中， 表面容易受到划痕、 凹坑和 变形等损伤， 影响产品质量； 人工目检十分费力， 不能及时准确地判断出产品表面瑕疵， 质 检效率和品控也难以把控； 而传统机器视觉对于表面缺陷的检测， 效率低， 漏检误检高； 因说　明　书 1/6 页 3 CN 115294103 B 3