(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210656450.0 (22)申请日 2022.06.10 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 王豪　许加炜　雷建军　张清华　 夏英　张旭　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) G06F 17/10(2006.01) (54)发明名称 一种在二分类中同时实现差分隐私和机器 学习公平的方法 (57)摘要 本发明涉及一种在二分类中同时实现差分 隐私和机器学习公平的方法， 属于机器学习领 域。 将隐私和公平需求转化为一个多目标优化问 题。 首先， 根据安全需求设置隐私保护强度及相 关超参数； 随后通过加权将反事实公平加入到目 标函数中； 接着将得到的新目标函数用泰勒公式 展开， 计算全局敏感度； 然后根据得到的全局敏 感度和隐私保护强度生成符合要求的高斯噪声； 最后， 使用得到的噪声扰动目标函数的多项式系 数并执行梯度下降， 计算最优权重。 解决了在二 分类中没有同时实现隐私和机器学习公平的问 题。 权利要求书3页 说明书9页 附图2页 CN 115049072 A 2022.09.13 CN 115049072 A 1.一种在二分类中同时实现差分隐私和机器学习公平的方法， 其特征在于： 该方法包 括以下步骤： 步骤S1， 数据预处 理； 包括以下步骤： 步骤S1‑1， 首先对数据 集执行one ‑hot编码， 然后将数据 集的多值属性拆解成多个二值 属性， 得到新的特 征x1， x2...xd； 步骤S1‑2， 对新的数据集执行标准化操作； 让数据集的均 值为0； 假设数据集中包含n条 数据， 均值 x＝x‑u； 步骤S1‑3， 让数据集的方差为1， x＝x/σ； 步骤S2， 设置相关参数； 包括以下步骤： 步骤S2‑1， 根据隐私保护需求设置相应的隐私保护强度∈； 步骤S2‑2， 根据精度及公平需求设置平衡超参数α； 步骤S3， 生成新的目标函数； 包括以下步骤： 步骤S3‑1， 生成公平约束； 假设ti表示数据集中的一条记录， 原目标函数为f(ω， ti)， 预 测结果为y ′， 实际结果为y； 敏感属性为s； s＝0表 示非代表 性属性， s＝1表 示代表性属性； 则 反事实公平约束co n表示为： con＝((y′|s＝0)‑0.5)*((y′|s＝1)‑0.5) 步骤S3‑2， 将公平性约束加权到目标函数上； 用超参数α调 节精度与公平性约束之间的 平衡； 当g小于0时， 表示在现实世界和反事实世界中的预测结果一致； 则新的目标函数为 步骤S4， 验证连续可微分性； 验证目标函数的连续可微分性， 如果满足连续可微， 执行 步骤5， 否则结束； 步骤S5， 展开目标函数； 根据Stone ‑Weierstrass定理， 任何连续可微分的函数f(x)由 一个多项式Axn+Bxn‑1...+Kx1+bX0来表示； 函数f(x)在x＝x0处的泰勒展开式表示 为： 将新的目标函数 在x＝0处进行展开， 得到的多 项式目标函数 步骤S6， 计算目标函数的全局敏感度Δf， 包括以下步骤： 步 骤 S 7 ，噪 声 加 入 ；向 多 项 式 目 标 函 数 的 系 数 中 加 入 高 斯 噪 声 ；设 则扰动后的多项式系数为： 步骤S8， 对目标函数执行梯度 下降操作； 根据得到的噪声多项式函数计算梯度， 执行梯 度下降操作； 重复此步骤， 直到函数收敛； 得到满足差分隐私和机器学习公平的权 重； 步骤S9， 模型发布； 不断调 节超参数α， 平衡模型精度与 安全性之间的关系， 当同时达到 要求精度和安全需求后， 发布模型。权　利　要　求　书 1/3 页 2 CN 115049072 A 22.根据权利要求1一种在二分类中同时实现差分隐私和机器学习公平的方法， 其特征 在于： 所述S6具体包括： 步骤S6‑1， 分别计算相邻数据集D和D ′上的目标函数； φ表示权重中各个分量的运算结 果， Φj为幂为j的φ对应的集合， λ为多项式系数； 对于数据集D， 它的多项式目标函数表示 为 对于数 据集 D ′， 它的 多项式目 标函数为 步骤S6‑2， 计算多项式系数上的全局敏感度Δf； 将S6 ‑1得到的多项式目标函数作差， 得到 3.基于权利要求1或2中所述方法的在二分类中同时实现差分隐私和机器学习公平的 系统， 其特 征在于： 该系统包括以下模块， 数据预处 理模块， 用于对收集到的数据进行 预处理和规约； 该模块包括以下子单 元； 第一单元， 将多值属性x(i)转化为多个二 值属性x(i1)， x(i2)...x(ik)； 第二单元， 令数据集各个特征的均值为0； 对具有n条记录的数据集， 计算其均值 用每条属性的值减去均值x＝x ‑u； 第三单元， 令数据集的方差为1； 计算包含n条记录数据 集的方差 再用 每条记录除以方差σ， 有x＝x/σ； 目标函数生成模块； 根据原目标函数和公平性约束， 生成新的目标函数； 包括以下子模 块； 第一单元， 超参数设置； 根据需求设置模型的隐私保护强度∈以及用于平衡公平与精 度之间的超参数α； 第二单元， 生成公平性约束项； 依照反事实公平规则， 对反事实世界与现实世界预测结 果不一致的情况进行惩罚； 二分类使用sigmoid函数刻画， 当预测结果大于0.5时， 分类为1； 当预测结果小于0.5， 预测结果为0； 设预测结果为y ′， 敏感属性s∈(0， 1)， 则约束项con＝ ((y′|s＝0)‑0.5)*((y ′|s＝1)‑0.5)； 当约束con小于0时， 表示反事实世界与现实世界预测 结果不一致， 反之亦然； 第三单元， 将公平性约束加权到目标函数上； 对约束项取反； 使用超参数α来调节精度 和公平性约束之间的关系， 新的目标函数 目标函数展开模块， 用于生成一个近似的多 项式来渐进目标函数； 包括以下子单 元； 第一单元， 检测目标函数的连续可微分性； 若目标函数在定义域内满足连续可微分性， 执行后续单 元， 否则结束； 第二单元， 多项式生成； 根据Stone ‑Weierstrass定理， 任何连续可微分的函数f(x)由 一个多项式函数表示； 使用泰勒展开公式将目标函数在0处展开， 多项式目标函数权　利　要　求　书 2/3 页 3 CN 115049072 A 3