(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211128707.1 (22)申请日 2022.09.16 (71)申请人 清华大学 地址 100084 北京市海淀区双清路3 0号 (72)发明人 游科友　杜昱博　宋士吉　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苟冬梅 (51)Int.Cl. H04L 67/5651(2022.01) H04L 67/10(2022.01) G06F 17/16(2006.01) G06N 20/00(2019.01) (54)发明名称 参数优化方法、 装置、 电子设备和可读存储 介质 (57)摘要 本发明提供了一种参数优化方法、 装置、 电 子设备和可读存储介质， 所述方法包括： 接收主 从网络中多个从节点发送的矢量信息； 其中， 矢 量信息是多个从节点根据从主节点抓取的待优 化参数， 对待优化参数进行贪婪伪牛顿迭代获得 的； 根据矢量信息以及待优化参数的目标函数， 并按照自适应步长调节算法选取自适应步长； 根 据矢量信息和自适应步长更新主节点本地的待 优化参数； 从节点用于在待优化参数未满足预设 停止条件的情况下， 重新 从主节点抓取待优化参 数， 并对待优化参数进行贪婪伪牛顿迭代， 将获 得的矢量信息重新发送给主节 点， 以供主节点再 次更新待优化参数， 直至待优化参数满足预设停 止条件为止。 可以保证全局收敛的前提下， 降低 主从节点的通信成本 。 权利要求书4页 说明书28页 附图3页 CN 115529350 A 2022.12.27 CN 115529350 A 1.一种参数优化方法， 其特 征在于， 应用于主从网络中的主节点， 所述方法包括： 接收所述主从网络中多个从节点发送的矢量信息； 其中， 所述矢量信息是多个所述从 节点根据从所述主节点抓取的待优化参数， 对所述待优化参数进行贪婪伪牛顿迭代获得 的； 根据所述矢量信 息以及所述待优化参数的目标函数， 并按照自适应步长调节算法选取 自适应步长； 根据所述矢量信 息和所述自适应步长更新所述主节点本地的待优化参数； 所述从节点 用于在所述待优化参数未满足预设停止条件的情况下， 重新从所述主节点抓取所述待优化 参数， 并对所述待优化参数进行贪婪伪牛顿迭代， 将获得 的矢量信息重新发送给所述主节 点， 以供所述主节点再次更新所述待优化参数， 直至所述待优化参数满足所述预设停止条 件为止。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述矢量信 息以及所述待优化参 数的目标函数， 并按照自适应步长调节算法选取自适应步长， 包括： 根据所述矢量信息中的子梯度， 计算当前迭代时刻所述目标函数的全梯度， 并根据所 述全梯度和所述目标函数构建所述 目标函数 的二阶偏导数矩阵的近似量； 其中， 所述 目标 函数的梯度有界， 所述 二阶偏导数矩阵有上界； 根据所述目标函数、 所述全梯度和所述二阶偏导数矩阵， 按照所述自适应步长调节算 法选取当前迭代时刻的自适应步长； 其中， 所述自适应步长调节算法根据所述目标函数确 定。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述目标函数、 所述全梯度和所 述二阶偏导数矩阵， 按照所述自适应步长调节算法选取当前迭代时刻的自适应步长， 包括： 根据所述目标函数、 所述全梯度和所述二阶偏导数矩阵计算所述待优化参数的最优性 度量， 并根据所述最优性度量计算第一步长参数； 其中， 所述第一步长参数包括所述二阶偏 导数矩阵的近似量的近似误差； 根据所述目标函数、 所述全梯度和所述二阶偏导数矩阵计算第二步长参数； 其中， 所述 第二步长参数包括所述待优化 参数的维数和所述近似误差； 在所述最优性度量不大于预设超线性半径的情况下， 确定所述自适应步长为1； 所述预 设超线性半径根据所述待优化 参数的维数、 所述从节点的数量和所述目标函数确定； 在所述最优性度量大于所述预设超线性半径的情况下， 将所述第 一步长参数和所述第 二步长参数中的最小值确定为所述自适应步长 。 4.根据权利要求3所述的方法， 其特征在于， 所述矢量信 息具体是多个所述从节点根据 从所述主节点抓取的所述待优化参数以及标志 量， 对所述待优化参数进 行贪婪伪牛顿迭代 获得的， 所述根据所述矢量信息和所述自适应步长更新所述主节点本地的待优化参数， 包 括： 根据所述矢量信息中的中间矢量计算当前迭代时刻所述目标函数的全正定矩阵； 根据所述全梯度、 所述全正定矩阵和所述自适应步长更新所述待优化 参数； 所述方法还包括： 根据 所述全梯度更新所述主节点本地的所述标志量； 其中， 所述标志 量根据所述 最优性度量和所述预设超线性半径确定 。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述矢量信 息中的中间矢量计算权　利　要　求　书 1/4 页 2 CN 115529350 A 2当前迭代时刻所述目标函数的全正定矩阵， 包括： 根据所述中间矢量和贪婪伪牛顿迭代公式计算当前迭代时刻的多个子正定矩阵； 其 中， 所述子正定矩阵是 所述从节点对应的子目标函数的正定矩阵； 根据当前迭代时刻的多个所述子正定矩阵计算当前迭代时刻的所述全正定矩阵。 6.根据权利要求1 ‑5任一所述的方法， 其特 征在于， 所述方法还 包括： 根据所述待优化 参数以及所述目标函数， 计算所述待优化 参数的指标值； 在所述指标值小于预设指标阈值的情况下， 确定所述待优化参数满足所述预设停止条 件； 在所述指标值不小于所述预设指标阈值情况下， 确定所述待优化参数不满足所述预设 停止条件。 7.根据权利要求6所述的方法， 其特征在于， 所述接收所述主从网络 中多个从节点发送 的矢量信息之前， 所述方法还 包括： 接收各所述从节点发送的第 一初始值， 并根据所述第 一初始值计算所述目标函数的全 正定矩阵的初始 值； 所述第一初始 值是所述从节 点对应的子目标函数的子正定矩阵的初始 值； 设置参数初始值， 并计算关于所述 参数初始值的所述目标函数的全梯度； 根据所述全梯度和所述目标函数， 按照所述自适应步长调节算法选取自适应步长； 根据所述全梯度、 所述全正定矩阵和所述自适应步长更新所述参数初始值， 得到所述 待优化参数。 8.一种参数优化方法， 其特 征在于， 应用于主从网络的任一从节点， 所述方法包括： 从所述主从网络的主节点 抓取待优化 参数； 对所述待优化 参数进行贪婪伪牛 顿迭代以获得矢量信息； 将所述矢量信 息发送给所述主节点， 以供所述主节点根据 所述矢量信 息以及所述待优 化参数的目标函数， 并按照自适应步长调节算法选取自适应步长， 以及根据所述矢量信息 和所述自适应步长更新所述主节点本地的待优化 参数； 在所述待优化参数未满足预设停止条件的情况下， 重新从所述主节点抓取所述待优化 参数； 对重新抓取到的所述待优化参数进行贪婪伪牛顿迭代， 将 获得的矢量信 息再次发送给 所述主节点， 直至所述待优化 参数满足所述预设停止条件为止 。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 从所述主从网络的主节点抓取标志量； 其中， 所述标志量是所述主节点根据所述多个 从节点上一次发送的矢量信息对所述主节点本地的标志量进行 更新后获得的； 所述对所述待优化 参数进行贪婪伪牛 顿迭代以获得矢量信息， 包括： 根据所述标志量对所述待优化 参数进行贪婪伪牛 顿迭代以获得矢量信息 。 10.根据权利要求9所述的方法， 其特征在于， 所述矢量信息包括当前迭代时刻的子目 标函数的子梯度和计算当前迭代时刻的子正定矩阵所需的多个中间矢量， 所述根据所述标 志量对所述待优化 参数进行贪婪伪牛 顿迭代以获得矢量信息， 包括： 在所述标志量为第 一预设值的情况下， 对上一迭代时刻的待优化参数进行多次贪婪伪 牛顿迭代， 并对当前迭代时刻的所述待优化参数进行单次贪婪伪牛顿迭代以获得所述矢量权　利　要　求　书 2/4 页 3 CN 115529350 A 3