(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211310923.8 (22)申请日 2022.10.25 (71)申请人 北京鹰瞳科技发展股份有限公司 地址 100081 北京市海淀区北理工国防科 技园2号楼4层21室 (72)发明人 刘从新　韩宇星　 (74)专利代理 机构 北京维昊知识产权代理事务 所(普通合伙) 11804 专利代理师 王颖慧　孙新国 (51)Int.Cl. G16H 50/50(2018.01) G16H 50/70(2018.01) G16H 10/60(2018.01) G06V 10/762(2022.01) G06T 7/00(2017.01) (54)发明名称 用于对眼底疾病的演进进行预测的装置、 方 法和存储介质 (57)摘要 本申请公开了一种用于对眼底疾病的演进 进行预测的装置、 方法和存储介质。 所述装置包 括： 处理器； 以及存储器， 其存储有用于对眼底疾 病的演进进行预测的程序指令， 当所述程序指令 由所述处理器执行时， 使 得所述装置执行以下操 作： 获取至少包含待预测的患者的眼底图像和多 模态信息的数据集； 基于演进阶段对 所述数据集 进行划分， 以获得各阶段的子数据集； 对所述各 阶段的子 数据集进行聚类， 以获得各阶段对应的 聚类结果； 根据所述对应的聚类结果计算所述演 进阶段中的群体方向向量； 以及基于所述群体方 向向量生 成所述待预测的患者的预测眼底图像， 以对眼底疾病的演进进行预测。 利用本申请的方 案， 可以获得准确的对眼底疾病的演进进行预测 的预测结果。 权利要求书3页 说明书14页 附图6页 CN 115376698 A 2022.11.22 CN 115376698 A 1.一种用于对眼底疾病的演进 进行预测的装置， 其特 征在于， 包括： 处理器； 以及 存储器， 其存储有用于对眼底疾病的演进进行预测的程序指令， 当所述程序指令由所 述处理器执行时， 使得 所述装置执 行以下操作： 获取至少包 含待预测的患者的眼底图像和多模态信息的数据集； 基于演进阶段对所述数据集进行划分， 以获得 各阶段的子数据集； 对所述各阶段的子数据集进行聚类， 以获得 各阶段对应的聚类结果； 根据所述对应的聚类结果计算所述演进阶段中的群 体方向向量； 以及 基于所述群体方向向量生成所述待预测的患 者的预测眼底图像， 以对眼底疾病的演进 进行预测。 2.根据权利要求1所述的装置， 其特征在于， 所述多模态信息包括所述患者的基础信 息、 生化指标信息或者疾病史信息中的一种或者多种， 其中所述基础信息包括年龄、 性别、 教育或者职业中的一种或者多种； 所述生化指标包括肝功 能、 肾功能或者血脂类中的一种 或者多种； 所述疾病史信息包括基础疾病信息、 药史信息或者家族疾病史信息中的一种或 者多种。 3.根据权利要求1所述的装置， 其特征在于， 所述演进阶段至少包括 时间维度或者病程 维度。 4.根据权利要求2所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执行 时， 使得所述装置执 行以下操作获得 各阶段对应的聚类结果： 将所述各阶段的子数据集中的眼底图像和多模态信 息进行合并， 以获得各阶段的合并 数据； 以及 使用训练完成的模型对所述各阶段的合并数据进行聚类， 以获得各阶段对应的聚类结 果。 5.根据权利要求4所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执行 时， 使得所述装置执 行以下操作获得 各阶段的合并数据： 使用训练好的嵌入 模型获取 所述各阶段的子数据集中的眼底图像的嵌入向量； 分别对所述嵌入向量和所述各阶段的子数据集中的多模态信 息执行归一化操作， 以获 得各自的归一 化结果； 以及 将所述各自的归一 化结果进行合并， 以获得 各阶段的合并数据。 6.根据权利要求5所述的装置， 其特征在于， 所述训练完成的模型包括特征提取子模型 和聚类子模型， 并且当所述程序指令由所述处理器进一步执行时， 使得所述装置执行以下 操作获得 各阶段对应的聚类结果： 使用所述特征提取子模型对所述各阶段的合并数据 执行特征提取操作， 以获得对应的 特征并各自形成统一表示的特 征空间； 以及 使用所述 聚类子模型在所述各自的特征空间内对相应阶段的合并数据进行聚类， 以获 得各阶段对应的聚类结果。 7.根据权利要求6所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执行 时， 使得所述装置执 行以下操作计算所述演进阶段中的群 体方向向量： 根据所述对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量权　利　要　求　书 1/3 页 2 CN 115376698 A 2和迁移概 率矩阵； 以及 基于所述子方向 向量和所述迁移概 率矩阵计算所述演进阶段中的群 体方向向量。 8.根据权利要求7所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执行 时， 使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的子方向向 量： 根据所述对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值， 以获得 各聚类的中心嵌入向量； 以及 基于所述下一阶段的聚类和所述当前阶段的聚类各自的中心嵌入向量的差值确定所 述当前阶段的聚类演进至所述下一阶段的聚类的子方向 向量。 9.根据权利要求7所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执行 时， 使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的迁移 概率矩 阵： 根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至下一阶段的样 本总集合； 根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至所述下一阶段 的各聚类的样本 子集合； 以及 基于所述样本子集合和所述样本总集合的比值确定当前阶段的聚类演进至下一阶段 的聚类的迁移概 率矩阵。 10.根据权利要求7所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执 行时， 使得 所述装置执 行以下操作： 设置修正概率， 并且使用所述 修正概率对所述迁移概 率矩阵进行修 正。 11.根据权利要求8所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执 行时， 使得 所述装置执 行以下操作生成所述待预测的患者的预测眼底图像： 基于所述群 体方向向量确定所述患者在下一阶段的眼底图像的嵌入向量； 以及 基于所述下一阶段的眼底图像的嵌入向量， 使用生成网络生成所述待预测的患 者的预 测眼底图像。 12.根据权利要求11所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执 行时， 使得 所述装置执 行以下操作确定所述患者在下一阶段的眼底图像的嵌入向量： 响应于所述患 者在数据库中无记录， 将所述当前阶段的眼底图像的嵌入向量和所述群 体方向向量之和 确定为所述下一阶段的眼底图像的嵌入向量； 或者 响应于所述患 者在数据库中有历史记录， 基于所述患 者的历史记录设置个体历史趋势 贡献和群体趋势贡献， 将所述当前阶段 的眼底图像的嵌入向量、 所述个体历史趋势贡献和 所述群体趋势贡献之和 确定为所述患者在下一阶段的眼底图像的嵌入向量。 13.根据权利要求12所述的装置， 其特征在于， 当所述程序指令由所述处理器进一步执 行时， 使得 所述装置执 行以下操作设置个 体历史趋势贡献和群 体趋势贡献： 基于所述历史记录确定演进至所述当前阶段的方向 向量的加权平均值； 设置个体趋势动量和群 体趋势动量； 将所述个 体趋势动量和所述加权平均值的乘积设置为所述个 体历史趋势贡献； 以及 将所述群 体趋势动量和所述群 体方向向量的乘积设置为所述群 体趋势贡献。权　利　要　求　书 2/3 页 3 CN 115376698 A 3