(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210597579.9 (22)申请日 2022.05.27 (71)申请人 西安电子科技大 学广州研究院 地址 510000 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 申请人 广州市丰海科技股份有限公司 (72)发明人 陈睿　阳文斌　肖潇　胡晓鹏　 杨俊　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 刘长春 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于U型网络的多目标分割方法及装置 (57)摘要 本发明涉及一种基于U 型网络的多目标分割 方法及装置， 多目标分割方法包括： 对待分割图 像进行块分区， 得到输入图像； 将输入 图像输入 基于上下文转换网络自注意力机制的编码模块 中进行统一的局部语义特征信息的提取， 并定位 分割目标， 得到编码器输出图像； 将编码器输出 图像与编码模块进行局部语义特征信息提取过 程中得到的语义特征信息进行融合， 并统一待分 割图像的全局语义特征信息， 得到解码器输出图 像； 将解码器输出图像的不同目标进行映射输 出， 得到分割结果图。 该多目标分割方法兼顾了 局部语义提取优化和全局语义信息统一优化， 可 以克服医疗图像面临的图像模糊、 噪声较大、 视 觉对比度低的问题， 分割结果精确度高， 鲁棒性 强， 分割效率高。 权利要求书2页 说明书9页 附图3页 CN 115082381 A 2022.09.20 CN 115082381 A 1.一种基于U型网络的多目标分割方法， 其特 征在于， 包括 步骤： S1、 对待分割图像进行块分区， 得到 输入图像； S2、 将所述输入图像输入基于上下文转换网络自注意力 机制的编码模块中进行统一的 局部语义特 征信息的提取， 并定位分割目标， 得到编码器输出图像； S3、 将所述编码器输出图像与所述编码模块进行局部语义特征信 息提取过程中得到的 语义特征信息进行融合， 并统一所述待分割图像的全局语义特征信息， 得到解码器输出图 像； S4、 将所述 解码器输出图像的不同目标进行映射输出， 得到分割结果图。 2.根据权利要求1所述的基于U型网络的多目标分割方法， 其特 征在于， 步骤S2包括： S21、 将所述输入图像进行线性嵌入后输入到两个连续的上下文转换模块中进行表示 学习， 保持所述输入图像的特 征维度和分辨 率不变， 得到第一多尺度特 征； S22、 将所述第一多尺度特 征输入块 合并层进行 下采样， 得到第一下采样特 征； S23、 将所述第一下采样特征输入到两个连续的上下文转换模块中进行表示学习， 保持 所述第一下采样特 征的特征维度和分辨 率不变， 得到第二多尺度特 征； S24、 将所述第二多尺度特 征输入块 合并层进行 下采样， 得到第二下采样特 征； S25、 将所述第二下采样特征输入到两个连续的上下文转换模块中进行表示学习， 保持 所述第二下采样特 征的特征维度和分辨 率不变， 得到第三多尺度特 征； S26、 将所述第三多尺度特 征输入块 合并层进行 下采样， 得到所述编码器输出图像。 3.根据权利要求2所述的基于U型网络的多目标分割方法， 其特征在于， 所述块合并层 中的执行步骤包括： 将输入块连接在一起， 使得图像的分辨率被下采样2倍， 同时特征维度增加4倍， 得到连 接特征； 利用线性层将所述连接特征的特征维度统一为所述输入块的原始特征维度的2倍， 得 到块合并层输出的下采样特 征。 4.根据权利要求2所述的基于U型网络的多目标分割方法， 其特 征在于， 步骤S3包括： S31、 将所述编码器输出图像输入到块扩展层进行 上采样， 得到第一上采样特 征； S32、 将所述第一上采样特征与所述第三多尺度特征输入到两个连续的上下文转换模 块中进行融合， 得到第一融合特 征； S33、 将所述第一融合特 征输入到块扩展层进行 上采样， 得到第二上采样特 征； S34、 将所述第二上采样特征与所述第二多尺度特征输入到两个连续的上下文转换模 块中进行融合， 得到第二融合特 征； S35、 将所述第二融合特 征输入到块扩展层进行 上采样， 得到第三上采样特 征； S36、 将所述第三上采样特征与所述第一多尺度特征输入到两个连续的上下文转换模 块中进行融合， 得到第三融合特 征； S37、 将所述第三融合特 征输入到块扩展层进行 上采样， 得到所述 解码器输出图像。 5.根据权利要求4所述的基于U型网络的多目标分割方法， 其特征在于， 所述块扩展层 中的执行步骤包括： 利用线性层将输入特 征的特征维度增 加为原始特征维度的2倍； 使用重新排列操作将所述输入特征的分辨率扩展为原始分辨率的2倍， 并将所述输入权　利　要　求　书 1/2 页 2 CN 115082381 A 2特征的特征尺寸减小到原 始特征尺寸的四分之一， 得到所述 块扩展层的上采样特 征。 6.根据权利要求2或4所述的基于U型网络的多目标分割方法， 其特征在于， 所述上下文 转换模块中的执 行步骤包括： 分别定义所述上 下文转换模块中的键、 查询和值； 对k×k空间网格中的所有邻居key进行k ×k分组卷积， 得到 输入图像的静态上 下文； 将所述静态上 下文和所述 查询进行两个连续的卷积， 获得注意力矩阵； 将所述注意力矩阵和所有所述 值进行聚合， 得到动态上 下文； 将所述静态上下文和所述动态上下文进行融合， 得到所述上下文转换模块的输出特 征。 7.根据权利要求1所述的基于U型网络的多目标分割方法， 其特 征在于， 步骤S4包括： 将所述解码器输出图像输入到线性投影层进行映射输出， 得到所述分割结果图。 8.根据权利要求1所述的基于U型网络的多目标分割方法， 其特征在于， 步骤S2和步骤 S3之间还 包括步骤： 将所述编码器输出图像输入到瓶颈层中进行深度 特征学习， 保持所述编码器输出图像 的特征维度和深度保持不变， 得到解码器输入图像。 9.根据权利要求8所述的基于U型网络的多目标分割方法， 其特征在于， 所述瓶颈层中 包括两个连续的上 下文转换模块。 10.一种基于U型网络的多目标分割装置， 其特 征在于， 包括： 图像块分区模块， 用于对待分割图像进行块分区， 得到 输入图像； 编码模块， 用于将所述输入图像进行统一的局部语义特征信息的提取， 并定位分割目 标， 得到编码器输出图像， 所述编码模块包括基于上下文转换网络自注意力机制的编码模 块； 解码模块， 用于将所述编码器输出图像与局部语义特征信 息提取过程中得到的语义特 征信息进 行融合， 并统一所述待分割图像的全局语义特征信息， 得到解码 器输出图像， 所述 解码模块包括基于上 下文转换网络自注意力机制的解码模块； 映射输出模块， 用于将所述解码器输出图像的不同目标进行映射输出， 得到分割结果 图。权　利　要　求　书 2/2 页 3 CN 115082381 A 3