(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171360.9 (22)申请日 2022.09.26 (71)申请人 江苏智云天工科技有限公司 地址 213000 江苏省常州市 常州钟楼区经 济开发区玉龙南路280号常州 大数据 产业园4号楼2楼201室 (72)发明人 唐恺　赵何　张志琦　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 吕小丽 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) (54)发明名称 工件的缺陷检测方法及装置 (57)摘要 本发明涉及工业质检技术领域， 提供一种工 件的缺陷检测方法及装置， 方法包括： 从标注图 片集中选择清晰度达到预设清晰度的多个标注 图片， 并对多个标注图片 进行处理后作为训练图 片集； 获取选择的每张标注图片 对应的参照工件 原图， 以得到标签集； 基于训练图片集和标签集 对U‑Net网络进行训练； 在对U ‑Net网络训练完成 后获取U‑Net网络的输 出结果， 并基于U ‑Net网络 的输出结果对Yolo网络进行训练； 通过训练后的 U‑Net网络和训练后的Yolo网络对待检测工件图 片进行缺陷检测。 由此， 可 以避免或者减少训练 用工件图片 模糊、 分辨率低导致的缺陷难以识别 的现象， 可以提高缺陷识别 能力， 改善工业质检 效果。 权利要求书2页 说明书9页 附图3页 CN 115272310 A 2022.11.01 CN 115272310 A 1.一种工件的缺陷检测方法， 其特 征在于， 包括： 获取标注图片集， 其中， 标注图片是通过对训练用工件图片的缺陷进行 标注得到的； 从所述标注图片集中选择清晰度达到预设清晰度的多个标注图片， 并对所述多个标注 图片进行处 理后作为训练图片集； 获取选择的每张所述标注图片对应的参照工件原图， 以得到标签集； 基于所述训练图片集和所述标签集对U ‑Net网络进行训练； 在对所述U ‑Net网络训练完成后获取所述U ‑Net网络的输出结果， 并基于所述U ‑Net网 络的输出 结果对Yo lo网络进行训练； 获取待检测工件图片， 并通过训练后的U ‑Net网络和训练后的Yolo网络对所述待检测 工件图片进行缺陷检测。 2.根据权利要求1所述的工件的缺陷检测方法， 其特征在于， 对所述多个标注图片进行 处理后作为训练图片集， 包括： 对每张所述标注图片进行 下采样； 将下采样后的各个所述标注图片的尺寸调整为下采样前的尺寸后整合 为训练图片集。 3.根据权利要求1所述的工件的缺陷检测方法， 其特征在于， 所述U ‑Net网络包括特征 提取网络、 分类网络和去噪网络， 基于所述训练图片集和所述标签集对U ‑Net网络进行训 练， 包括： 将多个训练图片和对应的所述参照工件原图输入所述U ‑Net网络的特征提取网络， 以 得到各个所述训练图片对应的特 征图片； 将多个所述特征图片输入所述U ‑Net网络的分类网络， 以得到各个所述特征图片中的 光学面和非光学面； 将多个所述特征图片输入所述U ‑Net网络的去噪网络， 以生成各个所述特征图片对应 的第一修复图片。 4.根据权利要求3所述的工件的缺陷检测方法， 其特征在于， 基于所述U ‑Net网络的输 出结果对Yo lo网络进行训练， 包括： 根据各个所述特征图片中的光学面和非光学面确定对应的所述第一修复图片中的光 学面和非光学面； 根据所述第 一修复图片中的光学面和非光学面对所述第 一修复图片进行剪切处理， 以 保留所述第一 修复图片中的光学面、 剔除所述第一 修复图片中的非光学面； 基于剪切后的第一 修复图片对Yo lo网络进行训练。 5.根据权利要求3所述的工件的缺陷检测方法， 其特征在于， 通过训练后的U ‑Net网络 和训练后的Yo lo网络对所述待检测工件图片进行缺陷检测， 包括： 将所述待检测工件图片输入训练后的U ‑Net网络， 以得到所述待检测工件图片中的光 学面和非光学面、 以及所述待检测工件图片对应的第二 修复图片； 根据所述待检测工件图片中的光学面和非光学面对所述第 二修复图片进行剪切处理， 以保留所述第二 修复图片中的光学面、 剔除所述第二 修复图片中的非光学面； 将剪切后的第二 修复图片输入训练后的Yo lo网络进行缺陷检测。 6.根据权利要求5所述的工件的缺陷检测方法， 其特征在于， 所述U ‑Net网络的分类网 络的损失函数为：权　利　要　求　书 1/2 页 2 CN 115272310 A 2其中， 为所述分类网络的损失函数， N为所述特征图片中的像素总数， (i,j)为所述特 征图片中像素点的坐标， i为横向坐标， j为纵向坐标， 表示所述参照工件原图中坐标(i, j)处像素点的真实标签， 1为光学面， 0为非光学面， 表示所述分类 网络预测的所述特征 图片的坐标(i,j)处像素点的值。 7.根据权利要求6所述的工件的缺陷检测方法， 其特征在于， 所述U ‑Net网络的去噪网 络的损失函数为： 其中， 为所述去噪网络的损失函数， 为所述特征图片， 为所述特征图片 经过所述去噪网络处 理后生成的第一 修复图片。 8.一种工件的缺陷检测装置， 其特 征在于， 包括： 第一获取模块， 用于获取标注图片集， 其中， 标注图片是通过对训练用工件图片的缺陷 进行标注得到的； 处理模块， 用于从所述标注图片集中选择清晰度达到预设清晰度的多个标注图片， 并 对所述多个标注图片进行处 理后作为训练图片集； 第二获取模块， 用于获取选择的每张所述标注图片对应的参照工件原图， 以得到标签 集； 第一训练模块， 用于基于所述训练图片集和所述标签集对U ‑Net网络进行训练； 第二训练模块， 用于在对所述U ‑Net网络训练完成后获取所述U ‑Net网络的输出结果， 并基于所述U ‑Net网络的输出 结果对Yo lo网络进行训练； 检测模块， 用于获取待检测工件图片， 并通过训练后的U ‑Net网络和训练后的Yolo网络 对所述待检测工件图片进行缺陷检测。 9.根据权利要求8所述的工件的缺陷检测装置， 其特 征在于， 所述处 理模块具体用于： 对每张所述标注图片进行 下采样； 将下采样后的各个所述标注图片的尺寸调整为下采样前的尺寸后整合 为训练图片集。 10.根据权利要求8所述的工件的缺陷检测装置， 其特征在于， 所述U ‑Net网络包括特征 提取网络、 分类网络和去噪网络， 所述第一训练模块具体用于： 将多个训练图片和对应的所述参照工件原图输入所述U ‑Net网络的特征提取网络， 以 得到各个所述训练图片对应的特 征图片； 将多个所述特征图片输入所述U ‑Net网络的分类网络， 以得到各个所述特征图片中的 光学面和非光学面； 将多个所述特征图片输入所述U ‑Net网络的去噪网络， 以生成各个所述特征图片对应 的第一修复图片。权　利　要　求　书 2/2 页 3 CN 115272310 A 3