(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156120.1 (22)申请日 2022.09.22 (71)申请人 浙江师范大学 地址 321000 浙江省金华市迎宾大道68 8号 (72)发明人 周昌军　张志聪　魏子麒　朱东林　 (74)专利代理 机构 重庆市信立达专利代理事务 所(普通合伙) 50230 专利代理师 于跃 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度卷积神经网络的PCB焊点识别 方法 (57)摘要 本发明公开了一种基于深度卷积神经网络 的PCB焊点识别方法， 具体包括以下步骤： S1： 对 输入图像进行基于亮度均衡的阈值分割操作； S2： 将分割出的 图像基于 形态学操作进行逐个焊 点截取； S3： 对切分的焊点图像进行数据增强,并 归一化； S4： 将数据增强的数据输入到多路卷积 和池化操作,提取多尺度卷积特征； 然后将多尺 度特征经过GAP降维,最后通过分类器输出焊点 对应类别； S5： 在原图中显示每个焊点对应类别。 本发明可实现对PCB焊板焊点的识别和分类,具 有速度快、 准确率高的特点,有助于帮助PCB焊点 检测、 PCB缺陷检测等质检设备的自动测评 。 权利要求书2页 说明书6页 附图2页 CN 115482452 A 2022.12.16 CN 115482452 A 1.一种基于深度卷积神经网络的PCB焊点识别方法， 其特 征在于， 具体包括以下步骤： S1： 对输入图像进行基于亮度均衡的阈值分割操作； S2： 将分割出的图像 基于形态学操作进行 逐个焊点截取； S3： 对切分的焊点图像进行 数据增强,并归一 化； S4： 将数据增强的数据输入到多路卷积和池化操作,提取多尺度 卷积特征； 然后将多尺 度特征经过GAP降维,最后通过分类 器输出焊点对应 类别； S5： 在原图中显示每 个焊点对应 类别。 2.根据权利要求1所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S1步骤具体包括以下步骤： S11： 基于亮度均衡的阈值对输入图像进行分割操作:首先加载图像,求取图像的全局 平均亮度； S12： 将图像分成大小相同的子块,对图像的每小块进行扫描求取该块的平均亮度,按 照每个小子快的分布获得子块平均亮度矩阵,把子块亮度 矩阵中每个值 都减去全局平均亮 度,获得子块亮度差值矩阵； S13： 把子块亮度差值矩阵通过插值运算扩展到与原图像相同大小,获得全图像亮度差 值矩阵； 将原始图像各像素亮度值各自减去全图像亮度差值矩阵中对应的数值,这样使得 图像亮度高的区域同时衰减,而亮度低的区域得到增强； S14： 根据原图像中最低和最高亮度来调节每个子块像素的亮度使之符合整个亮度范 围,利用常用阈值选取 方法分割图像， 最后输出图像， 得到亮度均衡后的PCB焊板图像。 3.根据权利要求1所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S2步骤具体包括以下步骤： S21： 将分割出来的图像使用OpenCV图像形态学操作进行 逐个焊点截取； S22： 将RGB三通道的图像使用OpenCV转换到HSV空间， 然后利用HSV空间的饱和度S轴做 形态学操作,通过腐蚀、 膨胀、 二值化和开操作方式确定原图像中类焊点位置， 得到图像 Img1； S23： 通过对原图像的灰度图使用形态学操作确定焊板中不是焊点的噪声位置,得到图 像Img2； S24： 将上面得到的两个图像使用OpenCV中掩码操作去除噪点位置， 确定全部焊点位 置,得到图像Img3； S25： 对原图像和Img3使用掩码操作， 确定原图像中焊点位置， 使用焊点位置对应的最 小矩形框进行图像截取， 得到每 个焊点对应的RGB彩色图像。 4.根据权利要求1所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S3步骤中使用数据增强对截取的焊点彩色图像进行数据扩充， 基于图像的平移不 变性特征， 使用旋转、 随机裁剪、 色域变换的方法进行数据增强， 将数据量扩充至原先的3 倍， 然后将数据集进行归一 化处理， 得到统一分布的数据。 5.根据权利要求1所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S4步骤将归一化的图像数据缩放至固定大小输入到多层卷积神经网络具体包括以 下步骤： S41： 输入图像经 过一次卷积和平均池化 提取特征， 为C1特 征提取层；权　利　要　求　书 1/2 页 2 CN 115482452 A 2S42： 对S41输出的特征图， 通过两路不同卷积和一路池化做特征提取， 连续两次， 第一 次做升维操作， 第二次做特 征提取， 为C2特 征提取层； S43： 对S42输出的三路特征图进行合并， 并使用一层卷积进行特征融合， 再经过两次卷 积和池化 提取特征， 为C3、 C4特征提取层； S44： 对S43输出的特 征图进行GAP操作降维， 输出较少维数的卷积特 征。 6.根据权利要求5所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S5步骤中将S4步骤中输出的卷积特征， 经过分类器进行分类， 按照正常、 少锡、 多 锡、 漏焊四个类别进行分类， 并根据之前记录的位置信息在原图中将对应区域使用不同颜 色矩形框标注。 7.根据权利要求2所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S1步骤将原图像分为32x32大小的图像小块， 得到子块亮度矩阵之后使用bicubic 差值法扩展到与原图像相同大小。 8.根据权利要求3所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S2步骤中根据类间方差法求得 大津法二 值化转换的阈值。 9.根据权利要求5所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S42步骤使用三路不用卷积核， 其特征是： 首先通过三路(1x1)*32卷积 升维， 并对三 路数据分别进行(5x5)* 32卷积层、 (3x3)* 32卷积层、 (2x2)* 32平均池化层。 10.根据权利要求5所述的一种基于深度卷积神经网络的PCB焊点识别方法， 其特征在 于， 所述S43步骤中， C4特征提取层的池化操作使用最大池化， 卷积核尺寸为(7x7)*256， 所 述S44步骤中， GAP操作的卷积核尺寸 为(2x2)* 512。权　利　要　求　书 2/2 页 3 CN 115482452 A 3