(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588414.5 (22)申请日 2022.05.27 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 任志刚　黄梓豪　吴宗泽　赖家伦　 钟振志　周坤　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义分割的图像复合缺陷的检测 方法及系统 (57)摘要 本发明涉及屏幕检测技术领域， 公开一种基 于语义分割的图像复合缺陷的检测方法及系统， 包括以下步骤： S1.构建语义分割网络模型； S2. 获取第一图像集， 将第一图像数据集输入初始化 后语义分割网络模型进行预训练； S3.根据需要 检测缺陷类型的数量， 设置预训练好的语义分割 网络模型的输出层的通道数； S4.获取第二图像 数据集， 将第二图像数据集输入 预训练后的语义 分割网络模 型进行训练， 得到具有复合缺陷检测 能力的语义分割网络模型； S5.将待检测图像数 据输入具有复合缺陷检测能力的语义分割网络 模型得到缺陷预测图。 本发明解决了现有技术存 在依赖人为设计缺陷识别算法， 仅能检测单个缺 陷的问题， 且具有效率高、 误差小的特点。 权利要求书2页 说明书9页 附图3页 CN 114820579 A 2022.07.29 CN 114820579 A 1.一种基于语义分割的图像复合 缺陷的检测方法， 其特 征在于： 包括以下步骤： S1.构建基于经典DeepL ab框架的语义分割网络模型， 所述的语义分割网络模型的输出 层的通道数设为1， 用于检测单种缺陷； S2.获取第一图像集， 所述的第一图像数据集包含若干个第一图像， 所述的第一图像的 缺陷类型数量为 1， 将第一图像数据集输入初始 化后语义分割网络模 型进行预训练， 得到预 训练后的语义分割网络模型； S3.根据需要检测缺陷类型的数量n， 相应的将预训练好的语义分割网络模型的输出层 的通道数设置为 n； S4.获取第二图像数据集， 所述的第二图像数据集包括若干个第二图像， 第二图像的缺 陷类型的数量为n， 将第二图像数据集输入预训练后的语义分割网络模型进行训练， 训练完 成后， 得到具有复合 缺陷检测能力的语义分割网络模型； S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检 测， 得到缺陷预测图。 2.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 所述 的语义分割网络模型包括通过下采样从低维特征到高维特征的提取， 保留每个像素的位置 信息与类别映射关系的编码器； 用于将低 维特征与高维特征融合， 提升分割边界准确 率的 解码器。 3.根据权利要求2所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 所述 的编码器包括对输入的图像数据提取第一特征图的骨干网络、 带有空洞卷积的空间金字塔 池化模块； 所述的空间金字塔池化模块， 用于获取与融合不同感受野的信息， 将输入的第一 特征图提取 得到具有 多尺度信息的第二特 征图。 4.根据权利要求3所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 所述 的空间金字塔池化模块包括4个卷积层和1个池化层； 其中4个卷积层分别为3 ×3普通卷积 层、 稀疏度为6的3 ×3的空洞卷积层、 稀疏度为12的3 ×3的空洞卷积层、 稀疏度为18的3 ×3 的空洞卷积层。 5.根据权利要求3所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 所述 的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1 ×1卷积层、 作为输 出层的3×3卷积层； 其中所述的1 ×1卷积层， 用于将输入的图像数据、 第 一特征图、 第 二特征图三种不同规 模的图像转 化成相同规模的特 征图并进行叠加； 叠加后的特征图通过3 ×3卷积层输出大小为[输出图像的长， 输出图像的宽， 缺陷种类 数量]的特 征图。 6.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 在步 骤S1中， 将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、 宽为3且通道数 大于16的卷积替换为深度可分离卷积； 所述的深度可分离卷积具体为： 先逐通道对特征图 进行3×3卷积， 再跨 通道进行1 ×1卷积， 实现横向与纵向信息分开卷积； 所述的深度可分离卷积的计算 参数量为:HF·WF·DI·(HC·WC+DO)； 其中， HC表示卷积核的长， WC表示卷积核的宽， HF表示特征图的长， WF表示特征图的宽,DI 表示深度可分离卷积的输入通道数、 DO表示深度可分离卷积的输出通道数。权　利　要　求　书 1/2 页 2 CN 114820579 A 27.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 在步 骤S5中， 对第二图像数据集进行数据增强后再输入预训练好的语义分割网络模型进行训 练， 所述的数据增强， 具体步骤如下： B1.将第二图像数据集中的图像随机划分为若干个由4张图像为 一组的基础组； B2.在每个基础组中， 随机 选取一个中心点作为 4张图像的拼接中心； B3.将每个基础组中的4张图像分别进行拉伸、 缩放、 裁 剪、 旋转操作， 并分别增 加噪声； B4.将每个基础组中4张图像拼接起 来， 得到增强数据图； B5.将若干个增强数据图组合成为增强数据集， 由此完成数据增强。 8.根据权利要求2所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 在步 骤S5中， 将第二图像数据集输入预训练后的语义分割网络模型进行训练， 具体如下： 设定迭代训练次数T， 其中T为大于 50的正整数； 在前50次迭代训练中， 冻结语义分割网络模型中的编码器， 只对解码器进行训练； 前50次迭代训练结束后， 再对语义分割网络模型整体进行迭代训练； 在训练过程中， 根据设定的损 失函数， 计算语义分割 网络模型输出的预测图与标注有 缺陷的第二图像数据集的误差,并将误差反向传播， 更新语义分割网络模型的参数。 9.根据权利要求8所述的基于语义分割的图像复合缺陷的检测方法， 其特征在于： 在步 骤S5中， 训练时， 通过损失函数反向传播更新模型， 所述的损失函数的表达式如下： 其中， Loss为损失值， λrecall为召回正则项系数， λclass为组别正则项系 数， 为训练 中语义分割深度学习模型输出的预测图中所有的缺陷区域的叠加， 为训练图像中所 有的缺陷区域的叠加， 表示预测图的第i种缺陷图， 表示第二图像 数据集中的第 i种缺陷图， k 为整数常数。 10.一种基于语义分割的屏幕表面复合缺陷的检测系统， 其特征在于： 包括用于获取待 检测图像数据的图像采集模块； 用于检测采集模块获取的待检测的屏幕图像的表面缺陷的 语义分割深度学习模块； 用于利用共性学习， 通过多样样本对语义分割深度学习模块进行 训练的训练模块。权　利　要　求　书 2/2 页 3 CN 114820579 A 3