(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210380964.8 (22)申请日 2022.04.12 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 吴慧雯　王力　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01)G06Q 40/02(2012.01) G06Q 50/22(2018.01) (54)发明名称 针对业务模型的纵向联邦学习方法及装置 (57)摘要 本说明书实施例提供一种联合更新模型的 方法及装置， 提供一种针对业务模 型的纵向联邦 学习方法， 其中的业务模型包括 设于服务方的全 局模型和设于各个训练成员的各个局部模型， 其 中的第一训练成员 可以经由本地的第一局部模 型对当前批次的若干条训练样本的第一特征数 据进行处理， 得到第一中间张量， 然后针对第一 中间张量进行基于预设的第一裁剪阈值的裁剪 操作， 形成第一规约张量， 接着在第一规约张量 上添加符合差分隐私的第一目标噪声， 得到第一 发布张量以提供给服务方， 使得服务方通过全局 模型处理第一发布张量， 从而进行全局模型和第 一局部模型的训练。 这种方式可以有效保护数据 隐私并使得隐私损失可控。 权利要求书2页 说明书9页 附图2页 CN 114912624 A 2022.08.16 CN 114912624 A 1.一种针对业务模型的纵向联邦学习方法， 所述业务模型包括设于服务方的全局模型 和设于第一训练成员的第一局部模型， 所述方法由所述第一训练成员执 行， 包括： 经由本地的第 一局部模型对当前批次的若干条训练样本的第 一特征数据进行处理， 得 到第一中间 张量； 针对所述第一中间张量进行基于预设的第一裁剪阈值的裁剪操作， 形成第一规约张 量； 在所述第一规约张量上添加符合差分隐私的第 一目标噪声， 得到第 一发布张量以提供 给所述服务方， 使得所述服务方通过所述全局模型处理所述第一发布张量， 从而进行所述 全局模型和所述第一局部模型的训练。 2.根据权利要求1所述的方法， 所述于预设的第一裁 剪阈值的裁 剪操作包括： 若所述第一中间张量的当前范数值超过所述第 一裁剪阈值， 确定所述第 一裁剪阈值与 所述当前 范数值的比例， 将所述第一中间 张量按照所述比例进行裁 剪。 3.根据权利要求1所述的方法， 所述第一裁 剪阈值通过以下之一的方式确定： 从候选阈值 集中选择； 取历史周期中确定的历史中间 张量或针对历史中间 张量的历史发布张量的平均值； 取历史周期中确定的历史中间 张量或针对历史中间 张量的历史发布张量的中位数。 4.根据权利要求1 ‑3任一所述的方法， 所述在所述第一规约张量上添加符合差分隐私 的第一目标噪声包括： 获取基于预定的隐私预算确定的噪声因子； 利用所述噪声因子和所述第一裁 剪阈值， 确定第一噪声参数； 基于所述第一噪声参数定义的第一噪声分布， 采样所述第一目标噪声。 5.根据权利要求4所述的方法， 其中， 所述第一噪声分布为高斯分布， 所述第一噪声参 数包括所述高斯分布对应的第一方差 。 6.根据权利要求5所述的方法， 其中， 所述第 一方差与 所述噪声因子乘以所述第 一裁剪 阈值的乘积绝对值 正相关。 7.根据权利要求1所述的方法， 其中， 所述第 一训练成员还持有当前批次的若干条训练 样本的第一标签数据， 所述第一标签数据对应有第一标签张量， 所述方法还 包括： 在所述第一标签张量上添加符合差分隐私的第 二目标噪声， 得到第 二发布张量以提供 给所述服务方， 使得所述服务方确定所述全局模型的输出结果与所述第二发布张量的对比 结果， 用于所述全局模型和所述第一局部模型的训练。 8.根据权利要求7所述的方法， 其中， 所述在所述第 一标签张量上添加符合差分隐私的 第二目标噪声包括： 获取基于预定的隐私预算确定的噪声因子； 利用所述噪声因子和所述第一标签张量的范 数， 确定第二噪声参数； 基于所述第二噪声参数定义的第二噪声分布， 采样所述第二目标噪声。 9.根据权利要求7所述的方法， 其中， 所述第 一标签张量为针对多个业务目标的多维张 量， 单个业务 目标对应着单个标签向量， 所述在所述第一标签张量上添加符合差分隐私的 第二目标噪声， 得到第二发布张量， 包括： 针对各个业务目标对应的各个标签向量， 分别添加符合差分隐私的各个目标噪声， 得权　利　要　求　书 1/2 页 2 CN 114912624 A 2到各个发布向量； 基于各个发布向量确定第二发布张量。 10.根据权利要求9所述的方法， 其中， 针对单个业务目标对应的单个标签向量， 相应的 单个目标噪声通过以下 方式确定： 针对所述单个标签向量进行基于预设的单个裁剪阈值的裁剪操作， 形成单个规约向 量； 将相应的单个目标噪声添加到所述单个规约向量， 形成单个发布张量。 11.根据权利要求10所述的方法， 其中， 所述单个裁剪阈值通过以下中的一种方式确 定： 与所述第一裁 剪阈值一致； 从候选阈值 集中选择； 取所述单个标签向量中各 元素的平均值； 取所述单个标签向量中各 元素的中位数。 12.根据权利要求9或10所述的方法， 其中， 单个目标噪声符合高斯分布， 单个目标噪声 对应的单个噪声参数为高斯分布的单个方差， 所述单个方差根据所述单个裁剪阈值与基于 预定的隐私预算确定的噪声因子确定 。 13.一种针对业务模型的纵向联邦学习装置， 所述业务模型包括设于服务方的全局模 型和设于第一训练成员的第一局部模型， 所述装置设于所述第一训练成员， 包括： 处理单元， 配置为经由本地的第 一局部模型对本地当前批次的若干条训练样本的第 一 特征数据进行处 理， 得到第一中间 张量； 裁剪单元， 配置为针对所述第一中间张量进行基于预设的第一裁剪阈值的裁剪操作， 形成第一 规约张量； 发布单元， 配置为在所述第一规约张量上添加符合差分隐私的第一目标噪声， 得到第 一发布张量以提供给所述服务方， 使得所述服务方通过所述全局模型 处理所述第一 发布张 量， 从而进行所述全局模型和所述第一局部模型的训练。 14.一种计算机可读存储介质， 其上存储有计算机程序， 当所述计算机程序在计算机中 执行时， 令计算机执 行权利要求1 ‑12中任一项的所述的方法。 15.一种计算设备， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有可执行代 码， 所述处 理器执行所述可执行代码时， 实现权利要求1 ‑12中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114912624 A 3