(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211260050.4 (22)申请日 2022.10.14 (71)申请人 山东大学第二医院 地址 250033 山东省济南市天桥区北园大 街247号 申请人 山东云旗信息科技有限公司 (72)发明人 周成军　管冰心　王晓映　郑玉平　 刘建鑫　凌泽乐　蔡东兴　张欣欣　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李圣梅 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/56(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06F 17/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Mask R-CNN的胃癌辅助诊断系统 (57)摘要 本发明公开了一种基于Mask  R‑CNN的胃癌 辅助诊断系统， 该系统包括图像获取模块、 图像 预处理模块、 模型训练模块和病变检测模块， 具 体的， 模型训练模块以标注的预处理后的数字病 理图像作为训练样本集， 训练采用Mask  R‑CNN构 建的胃癌病变检测模型， 训练过程中， 在损失函 数中引入类别权重； 病变检测模块以滑动窗口的 形式分块读取待预测的数字病理图像， 将其输入 训练完成的胃癌病变检测模型中， 得到该滑窗图 像的病变检测结果， 通过合并与拼接完成病变检 测结果的还原。 本发明通过搭建并训练Mask  R‑ CNN模型， 实现对早期胃癌病理切片中目标的精 准分割、 预测和分类， 提高胃癌种类诊断结果的 准确性。 权利要求书2页 说明书7页 附图1页 CN 115511864 A 2022.12.23 CN 115511864 A 1.一种基于 Mask R‑CNN的胃癌辅助诊断系统， 其特 征是， 包括： 图像获取模块， 用于获取患者胃部的数字病理图像； 图像预处 理模块， 用于对获取的数字病理图像进行 预处理； 模型训练模块， 用于以标注的预处理后的数字病理图像作为训练样本集， 训练采用 Mask R‑CNN构建的胃癌病变检测模 型； 其中， 训练过程中， 在胃癌病变检测模 型的损失函数 中引入类别权 重； 病变检测模块， 用于以滑动 窗口的形式分块读取待预测的数字病理图像， 将读取的滑 窗图像输入训练完成的胃癌病变检测模型中， 得到该滑 窗图像的病变检测结果， 通过合并 与拼接完成病变 检测结果的还原， 实现对待预测的数字病理图像的病变 检测。 2.如权利 要求1所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， 所述预处理包 括： 对数字病理图像和标注数据依次进 行裁剪， 统一图像块的规格， 将标注数据与裁剪得到 的图像块 一一对应。 3.如权利 要求2所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， 所述预处理还 包括： 对剪 裁后的数字病理图像进行颜色对比度扰动处 理； 所述颜色对比度扰动包括对比度扰动和颜色扰动； 所述对比度扰动是指随机对图像的 对比度进行调整， 统一图像对比度； 所述颜色扰动是指在图像的某一个颜色空间增加或减 少某些颜色 分量， 或更改颜色通道的顺序。 4.如权利 要求1所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， 所述胃癌病变 检测模型采用Mask  R‑CNN神经网络模型构建， 包括主干网络、 RPN、 功能分支三部分； 其中， 主干网络采用ResNet ‑50结合特征金字塔FPN， 提取输入图像的多尺度特征信息， 用于预测不同大小的目标； RPN用于根据主干网络提取的多尺度信息进 行感兴趣区域提取， 初步筛选出可能是目标的区域； 功能分支用于预测处 理。 5.如权利 要求4所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， 所述功能分支 包括分类、 边界框回归和分割这三个分支； 分类分支用于对RPN提取的感兴趣区域进行分 类， 确定目标类别； 回归分支用于对目标的边界进 行定位； 分割分支用于对感兴趣区域内的 目标进行边界的确认， 将目标从图像中分离出来， 得到 完整的目标。 6.如权利 要求1所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， 所述类别权重 是指每个类别像素占比的中位数与每个类别像素占比的比值， 其中， 每个类别像素占比是 指每个类别的像素 数和像素 数总和的比值。 7.如权利 要求1所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， 所述病变检测 模块包括滑动窗口单 元、 mask合并单元和拼接单 元； 所述滑动窗口单元以滑动窗口的形式分块读取待预测的数字病理图像， 每次滑动记录 滑动窗口 的坐标位置； 所述拼接单元依次将每个滑窗的预测结果按照 位置坐标拼接到相应位置， 以还原完整 的预测结果。 8.如权利要求7所述的基于Mask  R‑CNN的胃癌辅助诊断系统， 其特征是， Mask  R‑CNN神 经网络模型输出的预测结果包括每个目标的分类、 检测框以及边界坐标， 所述mask合并单 元将上述输出结果进行整合， 把每一个预测信息整合为一个单通道的mask矩阵， 输出滑窗 图像的预测结果。权　利　要　求　书 1/2 页 2 CN 115511864 A 29.一种电子设备， 其特征是： 包括存储器和处理器以及存储在存储器上并在处理器上 运行的计算机指令， 所述计算机指令被处 理器运行时， 完成如下步骤： 获取患者胃部的数字病理图像， 标注数字病理图像， 对该标注后的数字病理图像进行 预处理， 作为训练样本集； 采用Mask  R‑CNN构建胃癌病变检测模型， 输入训练样本集训练该模型； 其中， 训练过程 中， 在胃癌病变 检测模型的损失函数中引入类别权 重； 以滑动窗口的形式分块读取待预测的数字病理图像， 将读取的滑窗图像输入训练完成 的胃癌病变检测模型中， 得到该滑 窗图像的病变检测结果， 通过合并与拼接完成病变检测 结果的还原， 实现对待预测的数字病理图像的病变 检测。 10.一种计算机可读存储介质， 其特征是： 用于存储计算机指令， 所述计算机指令被处 理器执行时， 完成如下步骤： 获取患者胃部的数字病理图像， 标注数字病理图像， 对该标注后的数字病理图像进行 预处理， 作为训练样本集； 采用Mask  R‑CNN构建胃癌病变检测模型， 输入训练样本集训练该模型； 其中， 训练过程 中， 在胃癌病变 检测模型的损失函数中引入类别权 重； 以滑动窗口的形式分块读取待预测的数字病理图像， 将读取的滑窗图像输入训练完成 的胃癌病变检测模型中， 得到该滑 窗图像的病变检测结果， 通过合并与拼接完成病变检测 结果的还原， 实现对待预测的数字病理图像的病变 检测。权　利　要　求　书 2/2 页 3 CN 115511864 A 3