(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210388135.4 (22)申请日 2022.04.14 (65)同一申请的已公布的文献号 申请公布号 CN 114494254 A (43)申请公布日 2022.05.13 (73)专利权人 科大智能物联技 术股份有限公司 地址 230088 安徽省合肥市中国(安徽)自 由贸易试验区合肥市高新区望江西路 900号中安创谷科技园一期A1楼6、 7层 (72)发明人 岳晨　黄鑫　裴孝怀　钟智敏　 刘伟　王筱圃　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 苗娟(51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/45(2017.01) G06N 3/04(2006.01) 审查员 向奎 (54)发明名称 基于GLCM与CNN-Tran sformer融合的产品外 观缺陷分类方法、 存 储介质 (57)摘要 本发明的一种基于GLCM与CNN ‑Transformer 融合的产品外观缺陷分类方法、 存储介质， 其中 方法采用有效像素概率分布面积等分方法， 对预 处理后的产品样本图像进行灰度级降维， 通过多 通道分区域计算与合并方法， 得到灰度共生矩阵 GLCM与统计量矩阵， 并引 入3个1×1卷积核作为 转换模块， 对灰度共生矩阵GLCM进行降维处理， 利用多层残差CNN进行特征提取， 并与Swin   Transformer  Block结构体融合， 同时， 将统计量 矩阵与多层 残差CNN特征提取的融合结果进行二 次 特 征 融 合 ， 从 而 构 建 了 G L C M 与 C N N ‑ Transformer融合的产品缺陷分类模型。 本发明 结合了灰度共生矩阵GLCM在纹理特征提取上的 突出表现， 以及CNN和Tran sformer在图像分类 上 的优势， 能够更好地实现对有明显缺陷特征的产 品外观的分类 。 权利要求书2页 说明书7页 附图9页 CN 114494254 B 2022.07.05 CN 114494254 B 1.一种基于GLCM与CNN ‑Transformer融合的产品外观缺 陷分类方法， 其特征在于， 包括 以下步骤， 样本预处理步骤， 所述样本预处理步骤包括获取产品样本图并提取有效区域与最大轮 廓区域掩膜图， 并作 “与”操作处理， 得到只保留掩膜区域的产品样本预处 理效果图； 计算步骤， 所述计算步骤包括采用有效像素概率分布面积等分方法， 进行灰度级降维， 再通过多通道分区域计算与合并方法， 得到灰度共生矩阵GLC M与统计量矩阵； 融合步骤， 所述融合步骤包括通过引入3个1 ×1卷积核作为转换模块， 对所述灰度共生 矩阵GLCM进行降维处理后， 利用多层残差CNN进行特征提取， 并将特征提取结果与Swin   Transformer Block结构体通过分块合并Pat ch Merging方式融合， 得到所述灰度共生矩阵 GLCM的融合结果； 同时， 采用concat连接方式， 将所述统计量矩阵与所述灰度共生矩阵GLCM 的融合结果进行二次特征融合， 从而构建了灰度共生矩阵GLCM与CNN ‑Transformer融合的 产品缺陷分类模型， 进 而对产品外观图形进行分类。 2.根据权利要求1所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述样本预处 理步骤具体包括： S1.1、 获取产品外观的原 始图像样本数据； S1.2、 预处理所述原始图像样本数据后求取最大轮廓外接矩形坐标， 并绘制最大轮廓 区域掩膜图； S1.3、 根据所述最大轮廓外接矩形坐标， 映射到原始图像， 截取有效区域， 得到有效区 域原始图； S1.4、 将所述有效区域原始图与所述最大轮廓区域掩膜图作 “与”操作处理， 掩膜区域 对应的像素值保留， 其 他像素点置为(0,0,0)， 从而得到样本的预处 理效果图。 3.根据权利要求1所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述计算 步骤具体包括， S2.1.1、 利用样本预处 理模块的处 理方法， 得到预处 理样本图； S2.1.2、 将得到的预处理样本图输入多通道分区域灰度共生矩阵计算模块， 得到灰度 共生矩阵GLC M； S2.1.3、 将多通道分区域灰度共生矩阵计算模块计算得到的每个分块图像的灰度共生 矩阵GLCM输入多通道分区域灰度共生矩阵统计量计算模块， 得到统计量矩阵。 4.根据权利要求3所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述融合 步骤具体包括： S2.2.1、 将步骤S2.1.2计算得到的所述灰度共生矩阵GLCM输入转换模块， 采用3个1 ×1 卷积核， 对输入的所述灰度共生矩阵GLC M进行特征降维处 理； S2.2.2、 将步骤S2.1.3得到的所述统计量矩阵输入到CNN ‑Transformer融合模块的 Transformer融合模块， 将步骤S2.2.1的处理结果输入到CNN ‑Transformer融合模块的CNN 融合模块； S2.2.3、 将步骤S2.2.2的CNN ‑Transformer融合模块计算结果输入多层感知器MLP模 块。 5.根据权利要求3所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述步骤S2.1.2中所述的多通道分区域灰度共生矩阵计算模块的计算方法，权　利　要　求　书 1/2 页 2 CN 114494254 B 2具体包括： S2.1.2.1、 将预处理样本图分为RGB三通道， 灰度共生矩阵GLCM分为16个灰度级， 采用 有效像素概率分布 面积等分方法， 对预处理样 本图的R、 G、 B三个通道分别计算由256灰度级 转为16灰度级的分割灰度阈值； S2.1.2.2、 将步骤S2.1.2.1后的各通道图像均匀分为14 ×14个分块图像， 计算每一个 分块图像在0 °、 45°、 90°、 135°共计4个方向上的灰度共生矩阵GLCM， 并作归一化处理， 在4个 方向上， 合并各分块图像的灰度共生矩 阵GLCM， 从而每个通道 图像得到4个灰度共生矩 阵 GLCM， 3通道RGB图像共计得到12个灰度共生矩阵GLC M。 6.根据权利要求5所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述S2.1.2.1中所述有效像素概 率分布面积等分方法， 具体包括： 通过滤除预处理样本图中像素值为(0,0,0)的像素点， 保留其余有效像素点， 统计有效 像素点在256个灰度级上 的概率分布并获得概率分布图， 将所述概率分布图按照水平方向 分为16个面积均等的区域， 计算各分割灰度阈值； 其计算方法如下， 假设有效像素点在各灰 度级上的数量为f(i)， 各分割阈值为t(j)， 其中i∈[0,255],j∈[1,15]， 则建立以下不等式 j为整数， 求得每一循环遍历阶段中满足不等式的t(j)的最小 值， 从而求得15个分割灰度阈值。 7.根据权利要求3所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述步骤S2.1.3所述的多通道分区域GLCM统计量计算模块计算步骤具体包 括： 根据多通道分区域灰度共生矩阵计算模块的相关计算结果， 计算各个RGB通道的每个 分块图像的GLCM的14个统计量， 即： 能量、 熵、 对比度、 均匀性、 相关性、 方差、 和平均、 和方 差、 和熵、 差方差、 差平均、 差熵、 相关信息测度以及最大相关系数， 分别合并各个RGB通道的 分块图像的统计量， 得到每个通道图像的14个统计量矩阵， 3通道RGB图像共计得到42个统 计量矩阵。 8.根据权利要求4所述的基于GLCM与CNN ‑Transformer融合的产品外观缺陷分类方法， 其特征在于： 所述步骤S2.2.2、 将步骤S2.1.3得到的统计量矩阵输入到CNN ‑Transformer融 合模块的Tran sformer融合模块， 将步骤S2.2.1的处理结果输入到CNN ‑Transformer融合模 块的CNN融合模块； 具体包括： 利用多层残差CNN模块进行特征提取， 并将特征提取结果与Swin  Transformer  Block 结构体通过Patch  Merging方式融合， 同时， 采用concat连接方式， 将步骤S2.1.3得到的统 计量矩阵与多层残差 CNN特征提取的融合结果进行二次特 征融合； CNN融合模块包含了1个max ‑pooling层、 2个输出通道数为96的由3 ×3+1×3+3×1卷积 核组成的残差层、 1个输出通道数为 192的由3 ×3+1×3+3×1卷积核组成的残差层、 1个输出 通道数为384的Patch  Merging层； Transformer融合模块主要包含了4个堆叠的输 出通道数 为426的Swin Transformer Block层、 1个输 出通道数为852的Pat ch Merging层、 2 个堆叠的