(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211176353.8 (22)申请日 2022.09.26 (71)申请人 电子科技大 学 地址 610000 四川省成 都市高新区(西区) 西源大道 2006号 (72)发明人 丁熠　邱泸谊　周尔强　邓伏虎　 曹明生　赵洋　秦臻　 (74)专利代理 机构 成都众恒智合专利代理事务 所(普通合伙) 51239 专利代理师 刘华平 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种半监 督心脏语义分割算法 (57)摘要 本发明公开了一种半监督心脏语义分割算 法， 克服现有有标注的心脏数据稀缺的局限性， 实现精确的半监督心脏语义分割。 该方法分别使 用粗粒度特征提取分支及细粒度特征提取分支， 结合Unet及Swin ‑Unet的网络 结构实现半监督心 脏语义分割。 在此结构中， 粗粒度特征提取分支 采用Swin ‑Unet的框架实现全局特征信息的提 取。 而细粒度特征提取分支则采用U net的局部 卷 积操作实现局部区域的特征信息提取。 从而通过 在采集的心脏核磁共振数据集上进行评估。 实验 数据及可视化结果证明， 所提议的半监督框架可 以实现快速而精确的肿瘤区域的分割， 准确度和 自动化程度高。 因此， 适宜 推广应用。 权利要求书2页 说明书5页 附图1页 CN 115496732 A 2022.12.20 CN 115496732 A 1.一种半监 督心脏语义分割算法， 其特 征在于， 包括如下步骤： S1： 采集心脏超声数据集， 将病例的心脏超声视频解码为高分辨率图像， 将解码清晰的 心脏图像挑选出来并重新裁剪为标准的超声图像数据， 由专 业医师采用标注工具对对裁剪 后的超声图像数据进 行标注； 并利用标注工具将图像的标注信息自动转换为计算机进 行识 别的json格式文件； S2： 构建一个由一个粗粒度 特征提取分支和一个细粒度特征提取分支构成的基于交叉 学习的半监督心脏语义分割框架； 将标注后具有标签的心脏核磁共振图像和无标签的心脏 核磁共振图像作为半监督心脏语义分割框架的输入， 每个输入图像分别通过粗粒度特征提 取分支和细粒度特 征提取分支来 生成预测掩码； S3： 根据预测掩码结合标准Dice损失函数得到半监督心脏语义分割框架的整体训练目 标损失函数， 对心脏半监 督语义分割模型进行训练； S4： 将已经完成训练的心脏半监督语义分割模型进行保存， 将未参与深度学习框架训 练的心脏图像数据输入模型中进 行测试， 输出框架的预测结果， 保存至数据库中， 作为医学 诊疗中一个初步的结果。 2.根据权利要求1所述的一种半监督心脏语义分割算法， 其特征在于， 在所述步骤S2 中， 对于有标签的心脏核磁共振图像， 粗粒度特征提取分支和细粒度特征提取分支分别由 图像标签进行监督； 对于无标签的心脏核磁共振图像， 框架使用粗粒度特征提取分支和细 粒度特征提取分支分别生成图像的预测掩码， 并使用预测掩码分别更新粗粒度特征提取分 支和细粒度特 征提取分支的模型参数。 3.根据权利要求2所述的一种半监督心脏语义分割算法， 其特征在于， 所述粗粒度 特征 提取分支由基于transformer的编码器及解码器构成； 所述编码器由使用patch  partition 层、 linear  embeding层、 swin  transformer模块、 patch  expandin g层和patch merging层 组成； 所述编码器用于将 输入的心脏核磁共振图像转化为序列， 使用patch  partition层将 心脏核磁共振图像分割成大小为4 ×4不重叠的patch， 同时每个patch的特征维数变为48， 所述编码器利用linear  embeding层将patch的特征维数进行线性映射， 线性映射后的 token被输入至swintransformer模块和patch  merge层用来生成不同尺度的特征信 息； 所 述解码器由多个swin  transformer模 块、 patch  expanding层、 pat ch embeding层及linear   projection层构 成； 其中， 所述swin  transformer模块用于负责学习图像特征， 所述patch   expanding层则负责上采样操作， 将该层特征图分辨率扩大两倍， 最后通过linear   projecti on层进行逐像素预测。 4.根据权利要求3所述的一种半监督心脏语义分割算法， 其特征在于， 所述细粒度 特征 提取分支为 一个对称的四层Unet。 5.根据权利要求4所述的一种半监督心脏语义分割算法， 其特征在于， 所述半监督心脏 语义分割框架采用双源注意力模块对位置特征进 行建模； 所述双源注意力模块由位置注意 力模块和 通道注意力模块构成的； 其中， 所述位置注意力模块引入自注意力机制来捕获心 脏核磁共振图像中的任意两个位置之间的空间依赖性； 对于某个具体位置的特征， 通过加 权求和在所有位置聚合特 征来更新， 其中权 重由相应两个位置之间的特 征相似性决定 。 6.根据权利要求5所述的一种半监督心脏语义分割算法， 其特征在于， 所述步骤S3中， 整体训练目标损失函数的构建方法包括以下步骤：权　利　要　求　书 1/2 页 2 CN 115496732 A 2S31： 输入一个输入心脏核磁共振图像x， 利用半监督心脏语义分割框架的unet模型和 swin‑unet模型分别产生两个预测掩码FUnet(x)， FSwin(x)； S32： 根据预测掩码FUnet(x)和FSwin(x)采用公式： fUnet(x)＝argmax(FUnet(x))    (1) fSwin(x)＝argmax(FSwin(x))    (2) 得到交叉教学策略的伪标签； 其中， fUnet(x)和fSwin(x)分别为unet模型和swin ‑unet模 型训练生成的伪标签； 得到有标签数据的有监 督损失函数： 其中， LCE(·)， LDice(·)分别为交叉熵损失和Dice损失， LAC(·)为主动轮廓损失， x为输 入超声图像， FUnet(x)为细粒度特征提取 分支的预测结果， FSwin(x)为粗粒度特征提取 分支的 预测结果， y为标签； S33： 定义无 标签数据的无监 督损失的交叉教学损失函数： LUnsupervise(x)＝LDice(FUnet(x)， fUnet(x))+α LDice(FSwin(x)， fSwin(x))    (4) 其中， α 为损失函数中的权重系数， LDice(·)是标准的Dice损失函数， LUnsupervise(x)为无 监督损失函数； S34： 得到整体训练目标损失函数： LTotal(x， y)＝LSupervise(x， y)+ μLUnsupervise(x)    (5) 其中， μ为权 重因子。权　利　要　求　书 2/2 页 3 CN 115496732 A 3