(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210206571.5 (22)申请日 2022.03.03 (71)申请人 北京深睿博 联科技有限责任公司 地址 100080 北京市海淀区海淀大街8号A 座21层A区 申请人 杭州深睿博 联科技有限公司 (72)发明人 曲太平　李秀丽　薛华丹　金征宇　 俞益洲　李一鸣　乔昕　 (74)专利代理 机构 北京天方智力知识产权代理 事务所(普通 合伙) 11719 专利代理师 路远 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/60(2017.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 50/20(2018.01) (54)发明名称 一种胰腺囊性病变的检测方法及装置 (57)摘要 本发明提供一种胰腺囊性病变的检测方法 及装置。 所述方法包括： 将3D静脉期图像和3D动 脉期图像分别输入到3D卷积网络和Transformer 网络， 分别提取静脉期图像特征和动脉期图像特 征； 将所述静脉期图像特征和动脉期图像特征输 入至多网络多期相特征融合模块， 输出多期相融 合特征； 将所述多期相融合特征输入至病灶分割 模块， 自动分割囊肿、 主胰管并输出囊肿尺 寸。 本 发明利用3D卷积网络有效提取图像的局部细节 特征， 利用Transformer网络有效提取 图像的包 含上下文信息的全局特征， 并通过基于CT多期相 图像特征提取及多期相特征融合， 提高了病灶分 割精度， 不仅能分割出囊肿和主胰管， 还能判断 是否有壁结节并精确分割壁结节。 权利要求书2页 说明书7页 附图2页 CN 114841914 A 2022.08.02 CN 114841914 A 1.一种胰腺囊性病变的检测方法， 其特 征在于， 包括以下步骤： 将3D静脉期图像和3D动脉期图像分别输入到3D卷积网络和Transformer网络， 分别提 取静脉期图像特 征和动脉期图像特 征； 将所述静脉期图像特征和动脉期图像特征输入至多 网络多期相特征融合模块， 输出多 期相融合特 征； 将所述多期相融合特 征输入至病灶分割模块， 自动分割囊肿、 主胰管并输出囊肿尺寸。 2.根据权利要求1所述的胰腺囊性病变的检测方法， 其特征在于， 进行模型训练时， 输 入3D卷积网络的3D静脉期图像进行逐像素标注， 输入Transformer 网络的3D动 脉期图像不 标注。 3.根据权利要求1所述的胰腺囊性病变的检测方法， 其特征在于， 所述多 网络多期相特 征融合模块包括 通道注意力模块和空间注意力模块； 其中， 通道注意力模块首先对输入的静脉期图像特征F1和动脉期图像特征F2分别通过全局平 均池化进行降维； 然后分别通过卷积核大小为k的一维空洞卷积获得k个通道的相关关系， 经sigmoid激活函数 获得通道注意力权重w1、 w2， 并分别与F1、 F2相乘得到w1F1、 w2F2； 最后将F2 与一个可学习权重a1相乘后与w1F1相加， 得到通道修正的静脉期特征F11＝w1F1+a1F2， 将F1与 一个可学习权重a2相乘后与w2F2相加， 得到通道修 正的动脉期特 征F21＝w2F2+a2F1； 空间注意力模块首先对输入的F11、 F21分别进行空洞卷积并经softmax激活函数后得到 空间注意力权重s1、 s2， 并分别与F11、 F21相乘后得到s1F11、 s2F21； 然后将F21与一个可学习权重 b1相乘后与s1F11相加， 得到空 间修正的静脉期特征F12＝s1F11+b1F21， 将F11与一个可学习权重 b2相乘后与s2F21相加， 得到空间修正的动脉期特征F22＝s2F21+b2F11； 最后将F12与F22相加得 到两个期相的融合特 征Ff＝F12+F22。 4.根据权利要求1所述的胰腺囊性病变的检测方法， 其特征在于， 所述病灶分割 模块还 包括一个基于多层感知机的分类器， 主要用于判别有无壁结节、 有无实性成分即病灶里是 否有液化部分； 如果有壁结节， 发出提 示信息， 病灶分割模块自动分割壁结节。 5.根据权利要求4所述的胰腺囊性病变的检测方法， 其特征在于， 所述方法还包括临床 决策步骤： 根据用户选择的国际公认的胰腺囊性病灶参考标准， 从特征候选池提取特征， 所述特 征候选池保存了病灶分割模块的输出 结果； 结合患者的临床化验信息， 基于提取的特 征构建临床决策树； 利用临床决策树 算法输出患者的临床决策： 复查， 不复查， 手术。 6.根据权利要求5所述的胰腺囊性病变的检测方法， 其特征在于， 用户选择AGA参考标 准时， 临床决策树的构建方法包括： 通过将从候选池提取的定量特征与设定的阈值进行比较或是否包括壁结节， 确定患 者 具有的危险征象； 如果所述危险征象的数量超过两项， 进行EUS ‑FNA检查， 如果检查发现潜在危险， 则建 议手术； 否则， 建议复查； 如果所述 危险征象的数量没有超过两项， 则建议复查； 如果复查过程中五年 内发现的危险征象的数量超过两项， 进行EUS ‑FNA检查， 如果检查 发现潜在危险， 则建议手术； 否则， 建议继续复查；权　利　要　求　书 1/2 页 2 CN 114841914 A 2如果复查过程中五年内发现的危险征象的数量没有超过两项， 则建议终止复查。 7.一种胰腺囊性病变的检测装置， 其特 征在于， 包括： 特征提取模块， 将3D静脉期图像和3D动脉期图像分别输入到3D卷积网络和 Transformer网络， 分别提取静脉期图像特 征和动脉期图像特 征； 特征融合模块， 用于将所述静脉期图像特征和动脉期图像特征输入至多 网络多期相特 征融合模块， 输出多期相融合特 征； 病灶分割模块， 用于将所述多期相融合特征输入至病灶分割模块， 自动分割囊肿、 主胰 管并输出囊肿尺寸。 8.根据权利要求7所述的胰腺囊性病变的检测装置， 其特征在于， 所述多 网络多期相特 征融合模块包括 通道注意力模块和空间注意力模块； 其中， 通道注意力模块首先对输入的静脉期图像特征F1和动脉期图像特征F2分别通过全局平 均池化进行降维； 然后分别通过卷积核大小为k的一维空洞卷积获得k个通道的相关关系， 经sigmoid激活函数 获得通道注意力权重w1、 w2， 并分别与F1、 F2相乘得到w1F1、 w2F2； 最后将F2 与一个可学习权重a1相乘后与w1F1相加， 得到通道修正的静脉期特征F11＝w1F1+a1F2， 将F1与 一个可学习权重a2相乘后与w2F2相加， 得到通道修 正的动脉期特 征F21＝w2F2+a2F1； 空间注意力模块首先对输入的F11、 F21分别进行空洞卷积并经softmax激活函数后得到 空间注意力权重s1、 s2， 并分别与F11、 F21相乘后得到s1F11、 s2F21； 然后将F21与一个可学习权重 b1相乘后与s1F11相加， 得到空 间修正的静脉期特征F12＝s1F11+b1F21， 将F11与一个可学习权重 b2相乘后与s2F21相加， 得到空间修正的动脉期特征F22＝s2F21+b2F11； 最后将F12与F22相加得 到两个期相的融合特 征Ff＝F12+F22。 9.根据权利要求7所述的胰腺囊性病变的检测装置， 其特征在于， 所述病灶分割 模块还 包括一个基于多层感知机的分类器， 主要用于判别有无壁结节、 有无实性成分即病灶里是 否有液化部分； 如果有壁结节， 发出提 示信息， 病灶分割模块自动分割壁结节。 10.根据权利要求9所述的胰腺囊性病变的检测装置， 其特征在于， 所述装置还包括临 床决策模块， 用于： 根据用户选择的国际公认的胰腺囊性病灶参考标准， 从特征候选池提取特征， 所述特 征候选池保存了病灶分割模块的输出 结果； 结合患者的临床化验信息， 基于提取的特 征构建临床决策树； 利用临床决策树 算法输出患者的临床决策： 复查， 不复查， 手术。权　利　要　求　书 2/2 页 3 CN 114841914 A 3