(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211310915.3 (22)申请日 2022.10.25 (71)申请人 北京鹰瞳科技发展股份有限公司 地址 100081 北京市海淀区北理工国防科 技园2号楼4层21室 (72)发明人 刘从新　韩宇星　 (74)专利代理 机构 北京维昊知识产权代理事务 所(普通合伙) 11804 专利代理师 孙新国 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G16H 10/60(2018.01) G16H 30/00(2018.01)G06T 7/00(2017.01) (54)发明名称 一种用于对进行聚类的模型进行训练的方 法和相关产品 (57)摘要 本申请一种用 于对进行聚类的模型进行训 练的方法和相关产品。 所述方法包括： 获取患者 的眼底图像和多模态信息并将其进行合并， 以获 得合并数据； 将所述合并数据划分为第一训练 集、 第一验证集和第二验证集； 使用所述第一训 练集对所述特征提取子模型进行训练； 基于训练 完成的特征提取子模型， 对所述第一训练集、 所 述第一验证集和所述第二验证集执行特征提取 操作， 以获得对应的特征并形成统一表示的特征 空间； 将所述第一训练集和所述第一验证集作为 第二训练集； 以及使用所述第二训练集在所述特 征空间对所述聚类子模型进行训练， 以实现对进 行聚类的模 型进行训练。 利用本申请方案训练用 于聚类的模 型， 可以将图像数据和多模态信息统 一到相同的测度空间， 以便 于聚类分析。 权利要求书3页 说明书13页 附图4页 CN 115375934 A 2022.11.22 CN 115375934 A 1.一种用于对进行聚类的模型进行训练的方法， 其特征在于， 所述模型包括特征提取 子模型和聚类子模型， 并且所述方法包括： 获取患者的眼底图像和多模态信息并将其进行合并， 以获得合并数据； 将所述合并数据划分为第一训练集、 第一验证集和第二验证集； 使用所述第一训练集对所述特 征提取子模型进行训练； 基于训练完成的特征提取子模型， 对所述第一训练集、 所述第一验证集和所述第二验 证集执行特征提取操作， 以获得对应的特 征并形成统一表示的特 征空间； 将所述第一训练集和所述第一验证集作为第二训练集； 以及 使用所述第 二训练集在所述特征空间对所述 聚类子模型进行训练， 以实现对进行聚类 的模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述多模态信息包括所述患者的基础信 息、 生化指标信息或者疾病史信息中的一种或者多种， 其中所述基础信息包括年龄、 性别、 教育或者职业中的一种或者多种； 所述生化指标包括肝功 能、 肾功能或者血脂类中的一种 或者多种； 所述疾病史信息包括基础疾病信息、 药史信息或者家族疾病史信息中的一种或 者多种。 3.根据权利要求1所述的方法， 其特 征在于， 还 包括： 使用训练好的嵌入 模型获取 所述眼底图像的嵌入向量； 分别对所述嵌入向量和所述多模态信息执行归一化操作， 以获得对应的归一化结果； 以及 将所述嵌入向量和所述多模态信息对应的归一化结果进行合并， 以获得所述合并数 据。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 响应于所述对应的归一 化结果之间的维度差异， 对所述 合并数据增 加维度惩罚因子 。 5.根据权利要求1所述的方法， 其特征在于， 所述特征提取子模型包括多层， 并且使用 所述第一训练集对所述特 征提取子模型进行训练包括： 以所述第一训练集为所述特征提取子模型的原始输入， 对所述特征提取子模型的每层 进行逐层训练； 以及 将所述特征提取子模型的上一层的输出增加噪声， 以将增加噪声后的上一层的输出作 为所述特 征提取子模型的下一层的输入， 以对所述特 征提取子模型进行训练。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 利用预设范围对增 加噪声后的输出进行截取， 以获得目标输出； 以及 将所述目标输出作为所述特征提取子模型的下一层的输入， 以对所述特征提取子模型 进行训练。 7.根据权利要求1所述的方法， 其特征在于， 使用所述第 二训练集在所述特征空间对所 述聚类子模型进行训练包括： 根据所述第二训练集的样本量确定聚类的初始类别数； 根据所述初始类别数确定初始搜索区间； 以及 基于所述初始搜索区间， 使用所述第二训练集在所述特征空间进行初始聚类训练， 以 获得初始聚类子模型。权　利　要　求　书 1/3 页 2 CN 115375934 A 28.根据权利要求7所述的方法， 其特征在于， 所述初始搜索区间包括初始搜索起点和初 始搜索终点， 并且基于所述初始搜索区间， 使用所述第二训练集在所述特征空间进行初始 聚类训练， 以获得初始聚类子模型包括： 基于所述初始搜索区间， 使用所述第 二训练集在所述特征空间分别对所述初始搜索起 点和初始搜索终点进行初始聚类训练， 以获得 各自对应的初始聚类子模型。 9.根据权利要求8所述的方法， 其特 征在于， 还 包括： 使用所述第二验证集分别计算所述初始搜索起点和所述初始搜索终点各自对应的初 始聚类子模型的整体SI L系数； 基于所述各自对应的初始聚类子模型的整体SI L系数确定最优类别数； 以及 基于所述最优类别数， 使用所述第二训练集在所述特征空间进行最终聚类训练， 以获 得最终聚类子模型。 10.根据权利要求9所述的方法， 其特征在于， 基于所述各自对应的初始聚类子模型的 整体SIL系数确定最优类别数包括： 基于所述初始搜索起点和所述初始搜索终点各自对应的初始聚类子模型的整体SIL系 数迭代确定下一个搜索区间并且确定所述下一个搜索区间的搜索起点和搜索终点各自的 中间聚类子模型； 比较所述下一个搜索区间的搜索起点和搜索终点各自的中间聚类子模型的整体SIL系 数之间的最大值， 直至满足迭代退 出条件时停止迭代； 以及 将所述最大值对应的搜索点确定为 最优类别数。 11.根据权利要求9所述的方法， 其特征在于， 基于所述初始搜索起点和所述初始搜索 终点各自对应的初始聚类子模型的整体SI L系数迭代确定下一个搜索区间包括： 比较所述初始搜索起点和所述初始搜索终点各自对应的初始聚类子模型的整体SIL系 数的最大值； 以及 将所述最大值对应的搜索点与所述初始搜索起点和所述初始搜索终点之间的中值进 行组合， 构成下一个搜索区间。 12.一种用于对进行聚类的模型进行训练的设备， 包括： 处理器； 以及 存储器， 其存储有用于对进行聚类的模型进行训练的程序指令， 当所述程序指令由所 述处理器执行时， 使得 所述设备实现根据权利要求1 ‑11任意一项所述的方法。 13.一种计算机可读存储介质， 其上存储有用于对进行聚类的模型进行训练的计算机 可读指令， 该计算机可读指令被一个或多个处理器执行时， 实现如权利要求1 ‑11任意一项 所述的方法。 14.一种用于进行聚类的方法， 其特 征在于， 包括： 获取待进行聚类的患者的眼底图像和多模态信息并将其进行合并， 以获得合并数据； 将所述合并数据输入至根据权利要求1 ‑11任意一项所述的训练完成的模型中进行聚 类， 以获得聚类结果。 15.根据权利要求14所述的方法， 其特 征在于， 还 包括： 使用训练好的嵌入 模型获取 所述眼底图像的嵌入向量； 分别对所述嵌入向量和所述多模态信息执行归一化操作， 以获得对应的归一化结果；权　利　要　求　书 2/3 页 3 CN 115375934 A 3