(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211076590.7 (22)申请日 2022.09.05 (71)申请人 哈尔滨工业大 学 地址 150000 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 张伟哲　张剑楠　杨洪伟　 (74)专利代理 机构 北京隆源天恒知识产权代理 有限公司 1 1473 专利代理师 徐苏明 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 17/16(2006.01) G06K 9/62(2022.01) H04L 9/40(2022.01) (54)发明名称 一种基于安全多方计算的神经网络模型推 理系统 (57)摘要 本发明涉及一种基于安全多方计算的神经 网络模型推理系统。 该系统包括： 安全多方计算 模块， 用于基于多个参与方， 根据明文模型的模 型信息构建密文计算图， 并调用GPU计算模块和 RDMA通信模块， 根据获取密文执行密文计算图， 获得密文结果， 并将执行后的密文结果恢复至用 户； 其中， 密文计算图为模型计算图转化获得， GPU计算模块， 用于根据获取的用户发送的密文， 利用32比特整型矩阵运算执行密文计算图； RDMA 通信模块， 用于利用GP U‑RDMA通信方案， 进行GPU 计算模块计算过程中的数据通信。 本发明的有益 效果： 保证神经网络模型推理准确度的同时， 提 高推理效率。 权利要求书2页 说明书13页 附图3页 CN 115526290 A 2022.12.27 CN 115526290 A 1.一种基于安全多方计算的神经网络模型推理系统， 其特 征在于， 包括： 安全多方计算模块， 用于基于多个参与 方， 根据明文模型的模型信 息构建密文计算图， 并调用GPU计算模块和RDMA通信模块， 根据获取的密文执行所述密文计算图， 获得密文结 果， 并将执 行后的所述密文结果恢复至用户； 其中， 所述密文计算图由模型计算图转化获得， 所述GPU计算模块， 用于根据获取的所 述用户发送的所述密文， 利用32比特整型矩阵运算执行所述密文计算图； 所述RDMA通信模 块， 用于利用GPU ‑RDMA通信方案， 进行 所述GPU计算模块计算过程中的数据通信。 2.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述安全多方计算模块具体用于： 基于FALOCN协议， 采用三个参与方构建安全多方计算协议， 根据所述密文执行所述安 全多方计算协议， 以执 行所述密文计算图； 其中， 三个所述参与方包括两个计算参与方和一个辅助参与方， 所述辅助参与方用于 判断矩阵元 素中是否存在零元 素， 以执行所述安全多方计算协议中的比较协议。 3.根据权利要求2所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述32比特整型矩阵运 算包括32比特整型矩阵乘法， 所述GPU计算模块具体用于： 基于cutlass开源浮点矩阵乘法计算库， 利用32比特浮点矩阵乘法的优化方法， 优化实 现32比特整 型矩阵乘法， 其中， 所述优化方法包括矩阵分片、 共享内存缓存和计算时间掩盖 访存时间。 4.根据权利要求3所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述32比特整型矩阵运 算包括32比特整型矩阵元 素运算， 所述GPU计算模块具体用于： 采用thrust并行计算库中的transform操作， 利用内核融合方法实现所述32比特整型 矩阵元素运算， 其中， 所述32比特整型矩阵元素运算包括整型矩阵点积运算与整型矩阵加 法运算。 5.根据权利要求4所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述GPU计算模块具体还用于： 利用所述32比特整型矩阵乘法执行所述乘法协议， 推理所述明文模型中的线性层与卷 积层； 利用所述32比特整型矩阵元素运算执行比较协议， 推理所述明文模型中的激活层与池 化层。 6.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述安全多方计算模块具体用于： 对不同的定点数矩阵变量采用不同的小数位数， 利用第一公式表示 为： 其中， l表示定点数矩阵变量xf采用的比特位数， xd表示定点数矩阵变量xf采用的小数 位数， xmax与xmin分别表示矩阵变量x中的最大值与最小值； 计算两个定点数矩阵变量相乘时， 所需要截断的比特位数用第二公式表示 为： xd+yd‑zd， 其中， xd表示定点数矩阵变量xf采用的小数位数， yd表示定点数矩阵变量yf采用的小数权　利　要　求　书 1/2 页 2 CN 115526290 A 2位数， zd表示定点数矩阵变量zf采用的小数位数。 7.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述安全多方计算模块具体用于： 将所述安全多方计算协议进行矩阵化。 8.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述RDMA通信模块具体用于： 使GPU之间通过RDMA网卡进行 数据传输 。 9.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所 述基于安全多方计算的神经网络模型推理系统还 包括： 神经网络推理模块， 用于根据获取的所述明文模型构建模型计算图， 并对所述模型计 算图进行信息提取， 获取 所述模型信息， 其中， 所述模型信息包括模型节点及计算 函数。 10.根据权利要求9所述的基于安全多方计算的神经网络模型推理系统， 其特征在于， 所述明文模型的获得 方法包括： 利用蒸馏防御方法和量化感知训练方法对神经网络模型进行训练， 获得所述明文模 型。权　利　要　求　书 2/2 页 3 CN 115526290 A 3