(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610819.4 (22)申请日 2022.05.31 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 计效园　周文豪　武博　侯明君　 孙晓龙　殷亚军　沈旭　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 专利代理师 邓彦彦　廖盈春 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于铸件 X射线图像的缺陷分割定位方 法及系统 (57)摘要 本发明提供一种基于铸件X射线图像的缺陷 分割定位方法及系统， 包括： 确定铸件的X射线图 像； 铸件上具有多个缺陷； 将铸件的X射线图像输 入到预先训练好的缺陷分割定位模型， 以对X射 线图像中铸件的缺陷图像进行分割定位； 缺陷分 割定位模型通过在Unet模型的各级特性连接跳 跃处和各相邻两级特征融合处嵌入注意力模块 得到。 本发 明利用数据增广策略解决了铸件缺陷 的X射线图像数量有限、 标注耗时的问题， 采用数 据驱动的深度学习模型对铸件高分辨率X射线图 像中缺陷进行分割， 构建了包含 轻量级注意力模 块的缺陷分割定位模型， 实现了铸件X射线 图像 中多尺度缺陷的高效、 高精定位。 权利要求书3页 说明书9页 附图4页 CN 114972269 A 2022.08.30 CN 114972269 A 1.一种基于铸件X射线图像的缺陷分割定位方法， 其特 征在于， 包括如下步骤： 确定铸件的X射线图像； 铸件上 具有多个缺陷； 将铸件的X射线图像输入到预先训练好的缺陷分割定位模型， 以对所述X射线图像中铸 件的缺陷图像进 行分割定位； 所述缺陷分割定位模 型通过在 Unet模型的各级 特性连接跳跃 处和各相 邻两级特征融合处嵌入注 意力模块得到； 所述Unet模型通过特征提取网络对接收 的X射线图像进行n次卷积运算， 得到X射线图像的特征金字塔； 所述特征金字塔包括n级特 征； 每级特征输入到对应的注意力模块， 以对各级特征分配权重； 之后由第n级特征逐级进 行上采样， 先将第n级特征与第n ‑1级特征按照对应的权重进行融合， 得到第n ‑1级融合特 征， 并将第n ‑1级融合特征进 行卷积激活后， 得到新的第n ‑1级特征， 并将其输入到对应的注 意力模块， 结合特征金字塔的前n ‑2级特征及对应权重， 重新为前n ‑2级特征和新的第n ‑1级 特征分配权重， 随后由新的第n ‑1级特征进行上采样， 重复前述步骤， 直至得到新的第2级 特 征与第1级特征按照权重融合后的第1级融合特征； 通过激活函数对第1级融合特征进行预 测处理， 得到分割定位后的缺陷图像； n 为正整数。 2.根据权利 要求1所述的方法， 其特征在于， 所述Unet模型包括： 主干特征提取网络、 加 强特征提取网络以及预测网络； 所述主干特征提取网络用于提取图像的多级特征； 所述加强特征提取网络用于对多级 特征进行融合， 得到融合后的特征； 所述预测网络用于对融合后的特征采用激活函数进行 预测处理； 所述缺陷分割定位模型通过迁移训练得到， 所述迁移训练的过程如下： 确定迁移训练所需的数据集： ImageNet图像数据集、 Pascal  VOC图像语义分割数据集 及铸件X射线图像数据集； 在ImageNet图像数据集上训练卷积神经网络VGG16； 所述VGG16包括： 特征提取网络和 分类网络； 将训练好的VGG16的特征提取网络中卷积层的参数迁移到Unet模型的主干特征提取网 络中， 作为Unet模 型主干特征提取网络相应层的初始值， 得到新Unet模型， 在Pascal  VOC图 像语义分割数据集上训练新Unet模型， 得到训练好的新Unet模型； 在训练好的新Unet模型的加强特征提取网络中引入多个注意力模块， 得到缺陷分割定 位模型， 使得新Unet模 型的主干特征提取网络提取的各级 特性连接跳跃处和各相 邻两级特 征融合处嵌入注意力模块， 在所述铸件 X射线图像数据集上对缺陷分割定位模型进 行训练， 得到训练好的缺陷分割定位模型。 3.根据权利要求2所述的方法， 其特征在于， 所述铸件X射线图像数据集通过如下步骤 得到： 确定多个X射线图像； 各个X射线图像通过对不同铸件或同一铸件的不同区域进行X射 线拍照得到， 铸件上 具有多个缺陷； 对多个X射线图像中铸件的缺陷图像进行切割和标注， 得到多尺度缺陷的X射线图像； 所述切割为： 将缺陷和非缺陷背景做区分， 标注为记录缺陷区域的像素点 位置的集 合； 对所述多尺度缺陷的X射线图像进行图像增广处理， 以得到扩大后的铸件X射线图像数 据集； 所述图像增广处理的过程为： 对 X射线图像依次进 行空间位置变换、 灰度变换、 图像畸 变以及随机 裁剪和缩放。权　利　要　求　书 1/3 页 2 CN 114972269 A 24.根据权利要求3所述的方法， 其特 征在于， 所述图像增广处 理的过程具体为： 通过翻转或旋转对图像进行空间位置变换， 以防止缺陷分割定位模型对图像中缺陷的 位置过拟合； 通过对比度变换或亮度变换对空间位置变换后的图像进灰度变换， 以防止缺陷分割定 位模型对图像的灰度过拟合； 通过网格畸变或仿射变换对灰度变换后的图像进行畸变操作， 以防止缺陷分割定位模 型对图像中缺陷的形状、 纹 理及尺度过拟合； 对畸变操作后的图像进行裁剪并缩放， 得到铸件X射线图像数据集， 以更大程度地增加 图像的多样性。 5.一种基于铸件X射线图像的缺陷分割定位系统， 其特 征在于， 包括： X射线图像确定单 元， 用于确定铸件的X射线图像； 铸件上 具有多个缺陷； 缺陷分割定位单元， 用于将铸件的X射线图像输入到预先训练好的缺陷分割定位模型， 以对所述X射线图像中铸件的缺陷图像进行分割定位； 所述缺陷分割定位模型通过在Unet 模型的各级 特性连接跳跃处和各相 邻两级特征融合处嵌入注意力模块得到； 所述Unet模型 通过特征提取网络对接收的X射线图像进 行n次卷积运算， 得到X射线图像的特征金字塔； 所 述特征金字塔包括n级特征； 每级特征输入到对应的注意力模块， 以对各级特征分配权重； 之后由第n级特征逐级进行上采样， 先将第n级特征与第n ‑1级特征按照对应的权重进行融 合， 得到第n ‑1级融合特征， 并将第n ‑1级融合特征进行卷积 激活后， 得到新的第n ‑1级特征， 并将其输入到对应的注意力模块， 结合特征金字塔的前n ‑2级特征及对应权重， 重新为前n ‑ 2级特征和新的第n ‑1级特征分配权重， 随后由新的第n ‑1级特征进行上采样， 重复前述步 骤， 直至得到新的第2级 特征与第1级 特征按照权重融合后的第1级融合特征； 通过激活函数 对第1级融合特 征进行预测处理后， 得到分割定位后的缺陷图像； n 为正整数。 6.根据权利要求5所述的系统， 其特征在于， 所述缺陷分割定位单元所用的Unet模型包 括： 主干特征提取网络、 加强特征提取网络以及预测网络； 所述主干特征提取网络用于提取 图像的多级 特征； 所述加强特征提取网络用于对多级 特征进行融合， 得到融合后的特征； 所 述预测网络用于对融合后的特 征采用激活函数进行 预测处理； 所述系统还 包括： 分割定位模型训练单 元； 所述分割定位模型用于通过迁移训练得到缺陷分割定位模型， 所述迁移训练 的过程如 下： 确定迁移训练所需的数据集： ImageNet图像数据集、 Pascal  VOC图像语义分割数据集及 铸件X射线图像数据集； 在ImageNet图像数据集上训练卷积神经网络VGG16； 所述VGG16包 括： 特征提取网络和分类网络； 将训练好的VGG16的特征提取网络中卷积层 的参数迁移到 Unet模型的主干特征提取网络中， 作为Unet模型主干特征提取网络相应层的初始值， 得到 新Unet模型， 在Pascal  VOC图像语义分割数据集上训练新Unet模型， 得到训练好的新Unet 模型； 以及在训练好的新Unet模型的加强特征提取网络中加入多个注意力模块， 得到缺陷 分割定位模型， 使 得新Unet模型的主干特征提取网络提取的各级 特性连接跳跃处和各相 邻 两级特征融合处嵌入注意力模块， 在所述铸件X射线图像数据集上对缺陷分割定位模型进 行训练， 得到训练好的缺陷分割定位模型。 7.根据权利要求6所述的系统， 其特征在于， 分割定位模型训练单元所用的铸件X射线 图像数据集通过如下步骤得到： 确定多个X射线图像； 各个X射线图像通过对不同铸件或同权　利　要　求　书 2/3 页 3 CN 114972269 A 3