(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210438889.6 (22)申请日 2022.04.22 (71)申请人 山东大学 地址 250199 山东省济南市历城区山大南 路27号 (72)发明人 郭帅帅　王謇达　史高鑫　张海霞　 (74)专利代理 机构 济南金迪知识产权代理有限 公司 37219 专利代理师 杨树云 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/94(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06K 9/62(2022.01) G06F 21/62(2013.01) (54)发明名称 一种联邦多任务学习中基于特征提取-子任 务分类器的数据标签分类方法及系统 (57)摘要 本发明涉及一种联邦多任务学习中基于特 征提取‑子任务分类器的数据标签 分类方法及系 统， 适用于中央节点式联邦学习系统。 为了提升 整体模型的有效性和精度并解决标签缺失数据 的问题， 本发 明通过两步分离式的联邦多任务学 习训练方式， 实现了一个 “特征提取 ‑子任务分类 器”的统一网络架构设计。 该设计方法能够解决 联邦多任务学习中多标签数据的部分标签缺失 问题并拥有较高的模型性能以及测试精度， 最终 训练出一个高性能多 标签分类器网络， 同时保护 了用户节点的数据隐私。 权利要求书3页 说明书9页 附图4页 CN 114882245 A 2022.08.09 CN 114882245 A 1.一种联邦多任务学习中基于特征提取子任务分类器的数据标签分类方法， 其特征在 于， 适用于中央节点式联邦学习系统， 所述中央节点式联邦学习系统包括M个用户节点和1 个中央服务器， 每个用户节点均与中心服务器相连接； 设定所有用户的训练数据均为多标 签数据， 且来自于同一个特征 空间， 标签的总数为L； 对任意的用户， 其每一个本地数据点 都 拥有相同种类的标签； 第m个用户拥有的本地数据数目用Km来表示， 且所有用户的数据数之 和为K， 即满足： 在第m个用户上的本地数据集用Dm表示， 即|Dm|＝Km； 包括： 构建并训练全局模型， 全局模型包括特 征提取网络以及多个分类 器网络； 将待分类的图像输入到训练好的全局模型， 图像数据经过特征提取网络， 提取特征； 提 取特征后的图像数据再经过所有分类器网络， 每个分类器网络 分别输出该待分类的图像对 于每一种标签中， 属于各个类别的概率输出值； 每一种 标签选择概率输出值最大 的类别作 为此标签的分类结果， 最终输出每一种标签的分类结果； 其中， 全局模型的训练过程 为： 第一步， 训练特 征提取网络： 在第t个特征提取网络训练周期中， 用户节点m 收到由中央服务器广播的最新特征提取 网络的模型参数wt， 并以此为初始模型， 使用本地数据集Dm， 在多轮本地迭代训练中， 通过 MBGD法， 得到更新后的本地特征提取网络， 其模型参数为wm， t， m的取值为1， 2， 3...M， 且m为 正整数； 在所有用户节点完成一轮训练后， 各个用户节点将各自更新后的本地特征提取网 络的模型参数上传至中央服务器， 并在中央服务器进行参数 的聚合， 得到一个新的特征提 取网络， 其模 型参数为wt+1； 重复上述过程， 直至中央服务器端的特征提取网络收敛； 每个用 户节点都有对应的本地特 征提取网络， 其网络架构和特 征提取网络的网络架构相同； 第二步， 训练多个分类 器网络： 根据每个用户节点对应的数据标签对用户节点进行分组， 设定分为L组， 第i组的用户 节点个数记为Mi， 第i组中第mi个用户节点的本地数据集记为 每组用户对应一个分类器 网络， 共训练出L个分类 器网络； 对于第i组的所有用户节点， 目标为训练一个分类器网络i， 其中， i表示在所有分类器 网络中此分类器网络的索引号； 分类器网络i在第t个训练周期中， 第mi个用户节点收到由 中央服务器广播的最新分类器网络i的模型参数 并以此为初始模型， 使用本地数据集 在多轮本地迭代训练中， 通过MBGD法， 得到更新后的本地分类器网络i， 模型参数为 mi的取值为1， 2， 3. ..Mi， 且mi为正整数； 在该用户组所有用户节点完成一轮训练后， 各用户节点将各自更新后的本地分类器网 络i的模型参数上传至中央服务器， 并在中央服务器进 行参数的聚合， 得到一个新的分类器 网络i， 其模型参数为 重复上述过程， 直至中央服 务器端的分类 器网络i收敛； 对于全部L组用户节点均进行上述分类器网络的训练过程， 直至中央服务器端的所有 分类器网络收敛。 2.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标 签分类方法， 其特征在于， 定义特征提取网络的学习目标是最小化一个经验损失函数， 如式权　利　要　求　书 1/3 页 2 CN 114882245 A 2(I)、 (II)所示： 式(I)中， F(w)表示全局的平均训练损失， w表示d维的模型参数向量， Fm(w； Dm)表示第m 个用户节点的本地平均训练损失； 式(II)中， f(w； xmk， ymk)是第m个用户节点中第k个训练数 据点(xmk， ymk)的训练损失， Dm＝{(xmk， ymk)： 1≤k≤Km}。 3.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标 签分类方法， 其特征在于， 在用户节 点m收到由中央服务器广播的最新特征提取网络的模型 参数wt， 之后， 每个用户节点根据其拥有的本地数据以及本地特征提取网络， 计算出本地特 征提取网络训练损失Fm(wt； Dm)， 同时， 根据式(III)， 计算出本地特征提取网络训练损失的 梯度gm， t： 式(III)中， 表示训练损失Fm(w； Dm)在w＝wt时的梯度； 在第t个特征提取网络训练周期中， 所有 的用户节点选择在本地通过MBGD法进行多次 的本地特征提取网络训练损失的梯度更新； 然后再将最新本地特征提取网络训练损失的梯 度{gm， t}上传至中央服 务器， 并通过(IV)式完成参数的聚合： 4.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标 签分类方法， 其特征在于， 特征提取网络 为卷积自编码器网络， 包括编码器和 解码器， 编码器包括两个卷积层和池化层， 实现对图片数据的特征提取； 解码 器的输入为特 征提取后的图像数据， 恢复出与原图片特征维度一致的图像数据， 完成对原图像的重构过 程。 5.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标 签分类方 法， 其特征在于， 本 地特征提 取网络的损失函 数选用MSFLoss损失函数f(xi， yi)， 如 式(V)所示： f(xi， yi)＝(xi‑yi)2 (V) 其中， xi表示第i个原始图像数据， yi表示经过特征提取 网络之后恢复出的第i个图像数 据。 6.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标 签分类方法， 其特征在于， 第i个分类器网络的局平均训练损失Fi(w)以及第i个分类器网络 平均训练损失 分别如式(VI)和(VI I)所示：权　利　要　求　书 2/3 页 3 CN 114882245 A 3