(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211275348.2 (22)申请日 2022.10.18 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324003 浙江省衢州市柯 城区成电路1 号 (72)发明人 吴少智　曹云建　刘欣刚　田淼　 彭攀　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 康欢欢 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种医学图像的分类方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了一种医学图像的分类方法、 装 置、 设备及存储介质。 该方法包括： 将获取到的待 测医学图像以及与所述待测 医学图像对应的临 床特征数据输入到预先训练完成的目标图像分 类模型中； 其中， 所述目标图像分类模型包括主 干网络、 类别分支网络和分类网络； 通过所述主 干网络， 基于输入的待测医学图像， 确定待测特 征图； 通过所述类别分支网络， 基于所述临床特 征数据和所述主干网络输出的待测特征图， 确定 融合特征图； 通过所述分类网络， 基于所述类别 分支网络输出的所述融合特征图， 输出所述待测 医学图像对应的目标分类结果。 本发 明实施例解 决了现有的目标图像分类模型的输入数据过于 简单的问题， 提高了目标图像分类模 型的分类准 确率。 权利要求书2页 说明书11页 附图4页 CN 115526882 A 2022.12.27 CN 115526882 A 1.一种医学图像的分类方法， 其特 征在于， 包括： 将获取到的待测医学图像以及与所述待测医学图像对应的临床特征数据输入到预先 训练完成的目标图像分类模型中； 其中， 所述目标图像分类模 型包括主干网络、 类别分支网 络和分类网络； 通过所述主干网络， 基于 输入的待测医学图像， 确定待测特 征图； 通过所述类别分支网络， 基于所述临床特征数据和所述主干网络输出的待测特征图， 确定融合特 征图； 通过所述分类网络， 基于所述类别分支网络输出的所述融合特征图， 输出所述待测医 学图像对应的目标分类结果。 2.根据权利要求1所述的方法， 其特征在于， 所述类别分支网络包括类别感知模块和临 床信息融合模块， 所述类别感知模块用于基于所述主干网络输出 的待测特征图， 输出类别 特征图； 所述临床信息融合模块用于基于所述临床特征数据和所述类别感知 模块输出的类 别特征图， 输出融合特 征图。 3.根据权利要求2所述的方法， 其特征在于， 所述临床信 息融合模块包括第 一神经网络 层、 融合层和第二神经网络层， 所述第一神经网络层用于将基于输入的临床特征数据确定 的第一网络特征图输出给所述融合层； 所述融合层用于对输入的所述第一网络特征图和类 别特征图执行融合操作， 输出参考特征图； 所述第二神经网络层用于基于所述融合层输出 的所述参考特征图， 输出融合特 征图。 4.根据权利要求2或3所述的方法， 其特征在于， 所述类别感知模块包括池化单元和输 出层， 其中， 所述池化单元包括全局池化层、 第一平均池化层和特征处理层， 所述全局池化 层用于对输入的所述待测特征图执行全局池化操作， 得到全局池化特征图； 所述第一平均 池化层用于对所述主干网络输出的所述待测特征图执行平均池化操作， 得到第一平均池化 特征图； 所述特征 处理层用于基于所述全局池化层输出的全局池化特征图和所述第一平均 池化层输出 的第一平均池化特征图， 确定中间特征图； 所述输出层用于基于所述特征处理 层输出的中间特 征图， 输出类别特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述全局池化层包括全局最大池化层和第 二平均池化层， 其中， 所述全局 最大池化层用于对所述主干网络输出 的所述待测特征图执 行全局最大池化操作， 得到最大池化特征图； 所述第二平均池化层用于对所述全局 最大池 化层输出的最大池化特 征图执行平均池化操作， 得到全局池化特 征图。 6.根据权利要求4所述的方法， 其特征在于， 所述类别感知模块还包括通道注意力单 元， 所述通道注意力单元用于基于所述主干网络输出的待测特征图， 输出注意力特征图， 相 应的， 所述输出层具体用于： 基于所述特征处理层输出 的中间特征图和所述通道注意力单 元输出的注意力特 征图， 输出类别特 征图。 7.根据权利要求6所述的方法， 其特征在于， 所述通道注意力单元包括全局平均池化 层、 卷积层、 激活层和融合层， 所述全局平均池化层用于对所述主干网络输出的待测特征图 执行全局平均池化操作， 得到全局平均特征图； 所述卷积层用于对所述全局平均池化层输 出的全局平均特征图执行卷积操作， 得到卷积特征图； 所述激活层用于对所述卷积层输出 的卷积特征图执行激活操作， 得到激活特征图； 所述融合层用于基于所述主干网络输出 的 待测特征图和所述激活层输出的激活特 征图， 输出注意力特 征图。权　利　要　求　书 1/2 页 2 CN 115526882 A 28.一种医学图像的分类装置， 其特 征在于， 包括： 临床特征数据输入模块， 用于将 获取到的待测医学图像以及与 所述待测医学图像对应 的临床特征数据输入到预先训练完成的目标图像分类模型中； 其中， 所述 目标图像分类模 型包括主干网络、 类别分支网络和分类网络； 待测特征图确定模块， 用于通过所述主干网络， 基于输入的待测医学图像， 确定待测特 征图； 融合特征图确定模块， 用于通过所述类别分支网络， 基于所述临床特征数据和所述主 干网络输出的待测特 征图， 确定融合特 征图； 目标分类结果输出模块， 用于通过所述分类网络， 基于所述类别分支网络输出的所述 融合特征图， 输出 所述待测医学图像对应的目标分类结果。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 医学图像的分类方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处理器执行时实现权利要求1 ‑7中任一项所述的医学图像的分 类方法。权　利　要　求　书 2/2 页 3 CN 115526882 A 3