(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211322197.1 (22)申请日 2022.10.27 (71)申请人 北京大学第三医院 （北京大 学第三 临床医学院） 地址 100191 北京市海淀区花园北路49号 申请人 中国科学院自动化研究所 (72)发明人 彭荣梅　秦晓冉　洪晶　程健　 曲景灏　徐波　 (74)专利代理 机构 北京中和立达知识产权代理 有限公司 1 1756 专利代理师 孟姣 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06V 10/26(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于朗格汉斯细胞判 断角膜免疫状态 的方法及装置 (57)摘要 本发明提供了一种基于朗格汉斯细胞判断 角膜免疫状态的方法及装置， 其方法， 包括： 收集 不同程度免疫性角膜疾病患者的共聚焦图像并 挑选， 获取目标共聚焦图像并构建专家数据库， 基于专家数据库， 确定机器学习模型； 对朗格汉 斯细胞实例分割模型进行设计与训练； 将待识别 图像输入至朗格汉斯细胞实例分割模型中进行 推理， 确定不同类型的朗格汉斯细胞的细胞密度 及细胞个数占比； 将不同类型朗格汉斯细胞的细 胞密度及细胞个数占比输入至机器学习模型中， 预测角膜免疫状态的级别。 本方案的朗格汉斯细 胞实例分割模型可以自动识别细胞的位置和类 型， 结合专家库建模结果， 可以帮助医生更快、 更 准确判断患者的角膜免疫状态。 权利要求书2页 说明书10页 附图2页 CN 115393351 A 2022.11.25 CN 115393351 A 1.一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特 征在于， 包括： 收集不同程度免疫性角膜疾病患者的共聚焦图像， 其中， 所述共聚焦图像中包含朗格 汉斯细胞； 对所述共聚焦图像根据预设标准进行挑选， 获取目标共聚焦图像， 基于所述目标共聚 焦图像构建专 家数据库， 同时， 基于所述专 家数据库， 确定 机器学习模型； 对朗格汉斯细胞实例分割模型进行设计与训练； 将待识别图像输入至训练好的所述朗格汉斯细胞实例分割 模型中进行推理， 并确定所 述待识别图像中不同类型的 朗格汉斯细胞的细胞密度及 细胞个数占比； 将所述待识别图像中不同类型朗格汉斯细胞的细胞密度及细胞个数占比， 输入至所述 机器学习模型中， 预测角膜免疫状态的级别。 2.根据权利要求1所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特征在 于， 所述朗格汉斯细胞实例分割模型， 包括： 特征提取模块、 类别和位置预测头、 掩码预测 头。 3.根据权利要求2所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特征在 于， 所述特 征提取模块， 包括： 根据朗格汉斯细胞的棒状、 树枝状结构， 将特 征提取模块的卷积层调整为两 部分； 其中， 所述特征提取模块中的部分卷积层调整为卷积核大小为1*n和n*1的卷积层交替 堆叠； 所述特征提取模块中的部分卷积层调整为可变形 卷积。 4.根据权利要求1所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特征在 于， 对朗格汉斯细胞实例分割模型进行训练， 包括： 在所述专 家数据库中随机提取目标共聚焦图像； 通过目标人员对预设个目标共聚焦图像中每个朗格汉斯细胞的类别、 包围框、 掩码进 行标注， 生成第一数据集； 基于所述第一数据集完成对所述朗格汉斯细胞实例分析模型的训练。 5.根据权利要求4所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特征在 于， 完成对所述朗格汉斯细胞实例分析模型的训练后， 还 包括： 获取所述专家数据库中未标注的目标共聚焦图像， 并将所述未标注的目标共聚焦图像 输入至所述朗格汉斯细胞实例分析模型中进行推理； 根据推理结果确定所述未标注的目标共聚焦图像中朗格汉斯细胞的位置和类型， 同 时， 基于所述目标 人员对所述推理结果进行修 正， 生成第二数据集； 基于所述第一数据集以及所述第二数据集确定所述专家数据库中所有目标共聚焦图 像中的不同类型朗格汉斯细胞的密度及个数占比。 6.根据权利要求5所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特征在 于， 还包括： 基于所述第 一数据集和所述第 二数据集完成对机器学习 模型的训练， 从而完成不同类 型细胞的个数占比与不同角膜免疫状态之间关系的建模。 7.根据权利要求1所述的一种基于朗格汉斯细胞判断角膜免疫状态的方法， 其特征在 于， 将待识别图像输入至训练好的所述朗格汉斯细胞实例分割模型中进行推理， 并确定所权　利　要　求　书 1/2 页 2 CN 115393351 A 2述待识别图像中不同类型的 朗格汉斯细胞的细胞密度及 细胞个数占比， 具体包括： 将所述待识别图像输入至所述朗格汉斯细胞实例分割模型中进行推理， 确定所述待识 别图像中朗格汉斯细胞的总个数， 以及所述待识别图像中每个朗格汉斯细胞位置和细胞类 型； 基于所述细胞类型对所述每个朗格汉斯细胞进行归类， 并计数， 并根据所述朗格汉斯 细胞的总个数确定所述待识别图像中不同类型的 朗格汉斯细胞的细胞个数占比； 基于所述待识别图像中每个朗格汉斯细胞的像素所对应的实际物理尺寸， 确定不同类 型的朗格汉斯细胞的细胞密度。 8.一种基于朗格汉斯细胞判断角膜免疫状态的装置， 其特 征在于， 包括： 图像收集模块， 用于收集不同程度免疫性角膜疾病患 者的共聚焦图像， 其中， 所述共聚 焦图像中包 含朗格汉斯细胞； 专家模型构建模块， 用于对所述共聚焦图像根据预设标准进行挑选， 获取目标共聚焦 图像， 基于所述目标共聚焦图像构建专家数据库， 同时， 基于所述专家数据库， 确定机器学 习模型； 朗格汉斯细胞实例分割 模型构建模块， 用于对朗格汉斯细胞实例分割 模型进行设计与 训练； 朗格汉斯细胞识别模块， 用于将待识别图像输入至训练好的所述朗格汉斯细胞实例分 割模型中进行推理， 并确定所述待识别图像中不同类型的朗格汉斯细胞的细胞密度及细胞 个数占比； 角膜免疫状态预测模块， 用于将所述待识别图像中不同类型细胞密度及个数占比输入 至所述机器学习模型中， 预测角膜免疫状态的级别。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的朗格汉斯细胞判断角膜免疫状态的方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述的朗格汉斯细胞判断角膜免疫状 态的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115393351 A 3