(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210548890.4 (22)申请日 2022.05.20 (71)申请人 北京深睿博 联科技有限责任公司 地址 100080 北京市海淀区海淀大街8号A 座21层A区 申请人 杭州深睿博 联科技有限公司 (72)发明人 曲太平　李秀丽　薛华丹　金征宇　 俞益洲　李一鸣　乔昕　 (74)专利代理 机构 北京天方智力知识产权代理 事务所(普通 合伙) 11719 专利代理师 路远 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于局部全局时空特征融合的肝脏肿瘤鉴 别方法及装置 (57)摘要 本发明提供一种基于局部全局时空特征融 合的肝脏肿瘤鉴别方法及装置。 所述方法包括： 从输入医学影像中分割出腹部区域图像； 将所述 腹部区域图像输入卷积神经网络， 进行局部特征 提取； 将提取的局部特征输入注 意力机制模块进 行全局特征提取； 将提取的全局特征特征编码为 脉冲序列后输入至脉冲神经网络， 进行时空特征 提取； 对提取的局部特征、 全局特征和时空特征 进行融合， 基于融合特征输出肝脏肿瘤类别。 本 发明利用脉冲神经网络进行时空特征提取， 并基 于局部特征、 全局特征和时空特征的融合进行肝 脏肿瘤类别鉴别， 明显提高了鉴别精度。 权利要求书1页 说明书6页 附图3页 CN 115035047 A 2022.09.09 CN 115035047 A 1.一种基于局部全局时空特 征融合的肝脏肿瘤鉴别方法， 其特 征在于， 包括以下步骤： 从输入医学影 像中分割出腹部区域图像； 将所述腹部区域图像输入卷积神经网络， 进行局部特 征提取； 将提取的局部特 征输入注意力机制模块进行全局特 征提取； 将提取的全局特 征特征编码为脉冲序列后输入至脉冲神经网络， 进行时空特 征提取； 对提取的局部特征、 全局特征和时空特征进行融合， 基于 融合特征输出肝脏肿瘤类别： 原发癌和转移癌。 2.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法， 其特征在 于， 所述输入医学影 像为包括动脉期、 门静脉期和平衡期的多期相CT图像。 3.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法， 其特征在 于， 所述从输入医学影像中分割 出腹部区域图像的方法包括： 采用强化学习优化腹部区域 边界。 4.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法， 其特征在 于， 所述注意力机制模块 为Transformer模块。 5.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法， 其特征在 于， 通过对提取 的局部特征、 全局特征和时空特征进行加权求和得到融合特征； 局部特征、 全局特征和时空特 征的权重通过模型训练确定 。 6.一种基于局部全局时空特 征融合的肝脏肿瘤鉴别装置， 其特 征在于， 包括： 腹部图像分割模块， 用于从输入医学影 像中分割出腹部区域图像； 局部特征提取模块， 用于将所述腹部区域图像输入卷积神经网络， 进行局部特 征提取； 全局特征提取模块， 用于将提取的局部特 征输入注意力机制模块进行全局特 征提取； 时空特征提取模块， 用于将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网 络， 进行时空特 征提取； 肿瘤类别输出模块， 用于对提取的局部特征、 全局特征和时空特征进行融合， 基于 融合 特征输出肝脏肿瘤类别： 原发癌和转移癌。 7.根据权利要求6所述的基于局部全局时空特征融合的肝脏肿瘤鉴别装置， 其特征在 于， 所述输入医学影 像为包括动脉期、 门静脉期和平衡期的多期相CT图像。 8.根据权利要求6所述的基于局部全局时空特征融合的肝脏肿瘤鉴别装置， 其特征在 于， 所述腹部图像分割模块具体用于： 采用强化学习优化腹部区域 边界。 9.根据权利要求6所述的基于局部全局时空特征融合的肝脏肿瘤鉴别装置， 其特征在 于， 所述注意力机制模块 为Transformer模块。 10.根据权利要求6所述的基于局部全局时空特征融合的肝脏肿瘤鉴别装置， 其特征在 于， 通过对提取 的局部特征、 全局特征和时空特征进行加权求和得到融合特征； 局部特征、 全局特征和时空特 征的权重通过模型训练确定 。权　利　要　求　书 1/1 页 2 CN 115035047 A 2基于局部全局时空特征融合的肝 脏肿瘤鉴别方 法及装置 技术领域 [0001]本发明属于医学影像技术领域， 具体涉及 一种基于局部全局时空特征融合的肝脏 肿瘤鉴别方法及装置 。 背景技术 [0002]肝恶性肿瘤包括原发性肿瘤与转移性肿瘤 等。 在影像学上原发性肝癌可以是单发 或多发病灶呈 “快进快出 ”之增强特征； 而转移性肝癌多表现为多发性、 圆形或类圆形 的病 灶， 往往强化不明显。 临床上不同肝恶性肿瘤的治疗策略差异很大， 医生在手术、 靶向、 免疫 等治疗前对患者肿瘤类别的准确诊断至关重要。 随着深度学习技术的快速发展， 计算机辅 助诊断(CAD)领域 发展迅速， 特别是在医学图像 分割和分类领域。 单期 CT扫描的缺点是难以 准确定位器官 的轮廓， 参考不同期相是尽可能完整识别器官边界的有效策略。 比如许多指 南明确推荐 使用CT造影增强成像的三期(动脉期、 门静脉期和平衡期)肝脏方案 。 [0003]目前在肝脏肿瘤分类中存在两个困难， 首先是常用的卷积神经网络， 由于卷积操 作的局部性， 它不能很好地处理长距离关系。 而多期相肝脏CT与自然图像相比具有显式且 重要的长距离依赖关系。 另一方面， 现有的基于Transformer的网络架构虽然可以补 充卷积 操作丢失的全局信息， 但依然很难捕获医学影像的时空信息。 为了应对上述问题， 本发明利 用脉冲神经网络的优点， 使用一种全新的架构用于肿瘤分类。 该模型使用卷积神经网络提 取多期相CT图像的局部特征， 将局部特征输入基于注意力的网络来提取序列关系中的全局 特征， 然后将全局特征输入脉冲神经网络提取包含时空信息的特征， 并基于三种 特征的融 合对原发性 肝癌与转移性 肝癌进行区分。 发明内容 [0004]为了解决现有技术中存在的上述问题， 本发明提供一种基于局部全局时空特征 融 合的肝脏肿瘤鉴别方法及装置 。 [0005]为了实现上述目的， 本发明采用以下技 术方案。 [0006]第一方面， 本发明提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法， 包 括以下步骤： [0007]从输入医学影 像中分割出腹部区域图像； [0008]将所述腹部区域图像输入卷积神经网络， 进行局部特 征提取； [0009]将提取的局部特 征输入注意力机制模块进行全局特 征提取； [0010]将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络， 进行时空特征提 取； [0011]对提取的局部特征、 全局特征和时空特征进行融合， 基于融合特征输出肝脏肿瘤 类别： 原发癌和转移癌。 [0012]进一步地， 所述输入医学影 像为包括动脉期、 门静脉期和平衡期的多期相CT图像。 [0013]进一步地， 所述从输入医学影像中分割出腹部区域图像 的方法包括： 采用强化学说　明　书 1/6 页 3 CN 115035047 A 3