(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210559125.2 (22)申请日 2022.05.22 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 徐畅　金国燮　祝烈煌　张川　 贾钰　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于加性同态加密的隐私保护深度学 习方法 (57)摘要 本发明属于机器学习中的深度学习技术领 域， 具体涉及一种基于加性同态加密的隐私保护 深度学习方法。 本发明提出的基于加性同态加密 的高效率隐私保护深度学习方法致力于解决上 述两大挑战， 该方法将用户从繁重的迭代训练过 程中解放出来， 减少用户的传输消耗， 同时借助 加性同态加密和随机梯度下 降训练具有良好可 用性和保密性的多层感知模型。 通过巧妙的数学 逻辑关系实现了通信高效， 大大降低了参与实体 的通信开销。 权利要求书2页 说明书6页 附图3页 CN 115062331 A 2022.09.16 CN 115062331 A 1.一种基于加性同态加密的隐私保护深度学习方法， 其特 征在于包括以下步骤： 步骤1， 搭建深度学习系统， 所搭建的深度学习系统包括一个服务器、 一个模型请求者 和若干个用户； 步骤2、 用户对自身拥有的样本数据添加扰动并加密后分别上传给模型请求者和服务 器， 步骤3、 进行MLP模型训练， 具体的模型训练过程包括 为： 步骤3.1、 请求令牌生成： 在第t轮迭代开始之前， 模型请求者从收集的所有数据中随机 选择s条数据作为训练数据集Bt， 然后计算 和Δ(2)＝E(y)， 其中 为上 一轮MLP模型第二层隐藏层的权重， Δ(1)和Δ(2)共同构成请求令牌的第一部分Δ1， 接着计 算 和 其中It为随机可逆矩阵， 为上一轮MLP模型第 三层输出层的权 重， 最后模型请求 者将请求令牌Request＝{Δ1， Δ2， Δ3}发送给服 务器； 步骤3 .2 、 梯度计算 ： 服务器处理 请求令牌计算得到 密文下的 预 测输出 其中 u是隐藏层 中间结果， h是隐藏层输出， 然后根据三层感知模型的偏导数公式 以 及 计算梯度的必要中间结果 ， 包括 ζ2＝E(γ‑1·MT·vT)， 其中v＝‑h(1‑h)， γ 为随机数， J是交叉熵损失函数， 处理完所有数据后， 服务器将回复令牌Response＝{ζ1， ζ2， ζ3}返回给模型请求 者； 步骤3.3、 模型更新： 模型请求者收到回复令牌后， 首先解密得到输出层的梯度Z(o)＝D( ζ1)， 然 后分别计算Z(1)＝(X·D( ζ2))T＝γ‑1·v·x和 利用Z(1)和Z(2)中的元素按照公式 计算隐藏层的梯度元素， 最终得到完整 的隐藏层梯度Z(h)， 计算完所有s个数据后对所有的Z(o)和Z(h)取平均， 得到最终梯度{G(h)， G (o)}， 然后利用梯度更新该轮次的模型 2.根据权利要求1所述的一种基于加性同态加密的隐私保护深度学习方法， 其特征在 于： 所述的步骤1中， 服务器用于选择安全参数κ并根据所选择的安全参数κ运行Paillier 加密算法中的密钥生成算法Gen( κ )生成密钥对<pks， sks>， 并将生成 的公钥pks发送给模型 请求者和若干个用户。 3.根据权利要求2所述的一种基于加性同态加密的隐私保护深度学习方法， 其特征在 于： 所述的模型请求者用于接收服务器发送的公钥pks， 还用于根据服务器 所选择的安全 参权　利　要　求　书 1/2 页 2 CN 115062331 A 2数κ 生成自己的Paillier加密算法公私密钥对<pkr， skr>并且广播公钥pkr， 模型请求者还对 三层感知模型 进行初始化。 4.根据权利要求1 ‑3任一所述的一种基于加性同态加密的隐私保护深度学习方法， 其 特征在于： 所述的用户用于接收服务器发送的公钥pks， 用户还拥有样本数据， 样本数据用于深度 学习中的模型训练。 5.根据权利要求4所述的一种基于加性同态加密的隐私保护深度学习方法， 其特征在 于： 所述的步骤2中， 用户对自身拥有的样本数据添加扰动的方法为： 用户的样本数据表示为{xi， yi}， 其中xi＝(xi1， xi2，…， xia)为一个a维向量， 表 示 该 数 据具有a个特征 ， yi为对应的独热编码格式下标签值 ， 随机选择满足 这两个关系式的矩阵P， Q和向量Mi， 其中Pl， Ql 分别是矩阵P和Q中的a维行向量， Mi＝(mi1， mi2，…， mia)也是a维向量； 利用矩阵P， Q各向量xi 扩展为矩阵 6.根据权利要求4所述的一种基于加性同态加密的隐私保护深度学习方法， 其特征在 于： 用户对自身拥有的样本数据添加扰动 后进行加密的方法为： 用户用模型请求者的公钥pkr加密数据{Xi， yi}后上传给模型请求者， 用服务器的公钥 pks加密向量Mi后上传给服 务器， 为便 于表示， E( ·)表示加密， D( ·)表示解密。 7.根据权利要求1所述的一种基于加性同态加密的隐私保护深度学习方法， 其特征在 于： 上述步骤迭代运行， 经过T轮迭代后直至模型收敛， 至此， 经过步骤1到步骤3， 完成了对 三层感知模型的训练， 模型请求 者最终得到训练好的模型 权　利　要　求　书 2/2 页 3 CN 115062331 A 3