(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210389503.7 (22)申请日 2022.04.13 (71)申请人 华控清交信息科技 （北京） 有限公司 地址 100084 北京市海淀区中关村东路1号 院3号楼10层10 09-1 (72)发明人 陈璐　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 蒋姗 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 20/00(2019.01) G06K 9/62(2022.01) (54)发明名称 模型评估方法、 装置、 电子设备和联邦系统 (57)摘要 本申请提供了一种模型评估方法、 装置、 电 子设备和联邦系统， 其中， 该方法包括： 获取一个 或多个数据方的初始密 态数据组， 该初始密 态数 据组中包括一项和多项初始密 态数据； 该初始密 态数据为该数据方使用目标模型对本地样本集 进行识别得的数据； 根据该初始密态数据组， 计 算该目标模 型的密态评估数据。 通过上述方法可 以降低评估模 型所需传输的数据量， 也能够提高 数据方的原 始数据的安全性。 权利要求书2页 说明书18页 附图5页 CN 114692188 A 2022.07.01 CN 114692188 A 1.一种模型评估方法， 其特 征在于， 包括： 获取一个或多个数据方的初始密态数据组， 所述初始密态数据组中包括一项和多项初 始密态数据， 所述初始密态数据为所述数据方使用目标模型对本地样本集进 行识别得的数 据； 根据所述初始密态数据组， 计算所述目标模型的密态评估数据。 2.根据权利要求1所述的方法， 其特征在于， 所述初始密态数据包括： 第 一类样本数、 第 二类样本数、 验证分布数据， 所述根据所述初始密态数据组， 计算所述目标模型的密态评估 数据， 包括： 根据所述初始密态数据组中各项初始密态数据中的所述第 一类样本数、 所述第 二类样 本数和所述验证分布数据， 计算得到第一类样本总数、 第二类样本总数、 验证总分布数据； 根据所述第一类样本总数、 所述第二类样本总数和所述验证总分布数据， 计算所述目 标模型验证的真假例率分布数据； 根据所述真假例率分布数据， 确定出 所述目标模型的密态评估数据。 3.根据权利要求2所述的方法， 其特征在于， 所述真假例率分布数据包括： 真例率分布 数据和假例率分布数据； 所述根据所述真假例率分布数据， 确定出所述 目标模型 的密态评 估数据， 包括： 根据所述真例率分布数据和所述假例率分布数据， 构建所述目标模型的受试者操作 特 征曲线； 根据所述受试者操作特 征曲线， 计算所述目标模型的密态评估数据。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第一类样本总数、 所述第二 类样本总数和所述验证总分布数据， 计算所述目标模型验证的真假例率分布数据， 包括： 根据所述第 一类样本总数和所述验证总分布数据中的真正例数， 确定出所述真例率分 布数据， 所述真正例数为所有的第一样本中被所述目标模型判定为第一样本的数量； 根据所述第 一类样本总数和所述验证总分布数据中的假正例数， 确定出所述假例率分 布数据， 所述 假正例数为所有的第二样本中被所述目标模型判定为第一样本的数量。 5.根据权利要求1所述的方法， 其特征在于， 所述初始密态数据包括： 第 一类样本数、 第 二类样本数和真假例率子数据； 所述根据所述初始密态数据组， 计算所述 目标模型 的密态 评估数据， 包括： 根据所述初始密态数据组的各组初始密态数据中的所述第 一类样本数、 所述第 二类样 本数和所述真假例率子数据， 确定出 所述目标模型的真假例率分布数据； 根据所述真假例率分布数据， 确定出 所述目标模型的密态评估数据。 6.根据权利要求1 ‑5任意一项所述的方法， 其特 征在于， 所述方法还 包括： 对所述密态评估数据进行解密处 理， 以得到所述目标模型的明文评估数据。 7.根据权利要求1 ‑5任意一项所述的方法， 其特 征在于， 所述方法还 包括： 将所述密态评估数据传输给数据需求方， 以供所述数据需求方根据所述密态评估数 据； 所述数据需求方包括： 所述数据方、 第三方平台 中的一方或多方平台。 8.一种模型评估方法， 其特 征在于， 包括： 使用目标模型对本地样本集进行验证， 以得到初始密态数据； 将所述初始密态数据发送给 所述中心设备。权　利　要　求　书 1/2 页 2 CN 114692188 A 29.根据权利要求8所述的方法， 其特征在于， 所述初始密态数据包括： 验证分布数据； 所 述使用目标模型对本地样本集进行验证， 以得到初始密态数据， 包括： 使用目标模型对本地样本集进行验证， 以得到样本预测数据； 根据预先设置的概 率阈值， 确定出 所述样本预测数据对应的验证分布数据。 10.根据权利要求9所述的方法， 其特征在于， 所述验证分布数据包括： 真正例数、 假正 例数； 所述根据预先设置的概率阈值， 确定出所述样本预测数据对应的验证分布数据， 包 括： 将所述样本预测数据中的各项样本的样本预测值与预 先设置的概 率阈值进行比较； 将所述样本预测值大于所述 概率阈值的样本的验证结果确定为第一类样本集； 根据所述第一类样本集中各个样本的标签， 确定出 所述真正例数和所述 假正例数。 11.一种模型评估 装置， 其特 征在于， 包括： 获取模块， 用于获取一个或多个数据方的初始密态数据组， 所述初始密态数据组中包 括一项和多项初始密态数据； 所述初始密态数据为所述数据方使用目标模 型对本地样本集 进行识别得的数据； 计算模块， 用于根据所述初始密态数据组， 计算所述目标模型的密态评估数据。 12.一种电子设备， 其特征在于， 包括： 处理器、 存储器， 所述存储器存储有所述处理器 可执行的机器可读指令， 当电子设备运行时， 所述机器可读指令被所述处理器执行时执行 如权利要求1至10任一所述的方法的步骤。 13.根据权利要求12所述的电子设备， 其特征在于， 所述电子设备中运行有密文计算引 擎， 所述电子设备通过所述密文计算引擎执行所述根据所述初始密态数据 组， 计算所述 目 标模型的密态评估数据的步骤。 14.一种联邦系统， 其特 征在于， 包括： 数据方和中心设备； 所述数据方用于执 行如权利要求8至10任一所述的方法的步骤； 所述中心设备用于执 行如权利要求1至7任一所述的方法的步骤。 15.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处 理器运行时执 行如权利要求1至7任一所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114692188 A 3