(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211145469.5 (22)申请日 2022.09.20 (71)申请人 湖南大学 地址 410012 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 彭绍亮　潘良睿　刘达政　窦钰涛　 王练　刘明婷　 (74)专利代理 机构 国防科技大 学专利服 务中心 43202 专利代理师 刘芳 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种框架辅助肝癌组织全幻灯片的肿瘤微 环境分析方法 (57)摘要 本发明公开了人工智能和生物信息学技术 领域的一种框架辅助肝癌组织全幻灯片的肿瘤 微环境分析方法， 该框架辅助肝癌组织全幻灯片 的肿瘤微环 境分析方法包括以下步骤： 对肝癌组 织的全幻灯片图像进行数据收集和预处理； 使用 多标签诊断框架辅助全幻灯片图像完成分类任 务； 使用多标签诊断框架辅助全幻灯片图像完成 分割任务。 该框架辅助肝癌组织全幻灯片的肿瘤 微环境分析方法通过深度学习技术的多标签诊 断框架对肝癌组织全幻灯片图像 。 权利要求书2页 说明书11页 附图2页 CN 115527204 A 2022.12.27 CN 115527204 A 1.一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其特征在于， 包括以下步 骤： S1.对肝癌组织的全幻灯片图像进行 数据收集和预处 理； S2.使用多标签诊断框架辅助全幻灯片图像完成分类任务； S3.使用多标签诊断框架辅助全幻灯片图像完成分割任务。 2.根据权利要求1所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S1包括以下步骤： S11.从五名肝癌 患者身上 取出五张全幻灯片图像， 构建 分类数据集和分割数据集； S12.使用翻转和平 移预处理方法对分类数据集和分割数据集进行 数据预处 理。 3.根据权利要求2所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S2包括以下步骤： S21.将步骤S1 1的全幻灯片图像进行切片， 划分区域并整理成多标签的数据集； S22.利用SLSR网络对 全幻灯片图像的切片进行 特征提取和分类； S23.利用SLSR模型统计出切片中不同标签的数量， 进 而计算肿瘤间质比。 4.根据权利要求3所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S21包括以下步骤： S211.将五张全幻灯片图像切分成大小为2 24×224的小切片， 共获得68175张小切片； S212.将步骤S21 1中的小切片中涉及两个区域的小切片贴上两个标签； S213.将小切片中的每一类的切片数据的比例范围控制在1:3的之内； S214.将小切片中的将不同种类的切片整理成多标签的数据集。 5.根据权利要求3所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S2 2包括以下步骤： S221.将融合了swin变压器模块、 局部深度卷积模块、 SE模块和残差神经网络的分类 网 络， 命名为SLSR网络； S222.切片先通过补丁分割模块生成不重叠的补丁， 每个补丁被视为一个令牌， 所有令 牌经过线性映射将输划分后的patc h特征维度变成任意维度C； S223.进行阶段1： 将任意维度C送入Swin变压器模块， 局部深度卷积模块对patch特征 维度进一 步学习， 将多通道的特 征图传递给SE  layer， 生成新的特 征图； S224.依次进行阶段2、 阶段3和阶段4， 阶段2、 阶段3和阶段4与阶段1的主体结构是相似 的； S225.进行阶段5， 通过残差神经网络承担切片图像的分类功能。 6.根据权利要求5所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S2 23包括以下步骤： S2231.swin变压器模块包括移位的不重叠窗口， 将注意力限制在每个窗口内， 减少注 意力机制产生的计算 量； S2232.局部深度卷积模块对swin变压器提取的特征进行图像重构， 并在多通道中进行 卷积运算， 生成的特 征图传递给 下一层； S2333.SE模块再利用从通道中获取的对应的权重系数向量与原特征图向量矩阵进行 点积， 并生成一个具有代 表性的特 征图。权　利　要　求　书 1/2 页 2 CN 115527204 A 27.根据权利要求3所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S23包括以下步骤： S231.利用训练好的SLSR模型对肝癌组织病理学图像进行准确分类， 包括统计出全幻 灯片图像中不同标签的数量； S232.通过 标签的数量计算肿瘤间质比,肿瘤间质比计算公式如下： 式中， Ct是一类中仅有单个标签且是肿瘤； C ′t是一类中有两个标签， 其中一个是肿瘤； Ci是一类中仅有单个标签且是组织间液； C ′t是一类中有两个标签， 其中一个是组织间液。 8.根据权利要求2所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S3包括以下步骤： S31.将步骤S1 1的全幻灯片图像进行分割切片处 理； S32.采用基于 CNN的模型和变压器模型对切片进行分割网络处 理； S33.分割网络对数据集进行测试， 对切片进行 预测分割。 9.根据权利要求8所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S31包括以下步骤： S311.将步骤S1 1的全幻灯片图像随机 选择四张作为训练， 一张用作测试； S312.将全幻灯片图像下采样缩放到原来的四分之一； S313.使用滑动窗口将全幻灯片图像切分成224 ×224的小切片， 13322张用于训练集, 3916张用于测试集； S314.在测试阶段,将预测得到的小切片标签按照原来的位置合并， 通过上采样插值成 初始全幻灯片图像的形状， 再计算 其评价指标。 10.根据权利要求8所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法， 其 特征在于， 所述S32包括以下步骤： S321.采用基于CNN的模型的全卷积网络FCN、 UNet系列、 Res ‑UNet系列以及ConvNeXt系 列对切片进行分割； S322.采用基于变压器模型的Transunet、 Swin ‑unet、 Transfuse以及Medical对切片图 像进一步的提取和分割。权　利　要　求　书 2/2 页 3 CN 115527204 A 3