(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211148079.3 (22)申请日 2022.09.21 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 张北北　高丰　穆晓妍　王东升　 孙铭鸽　白文媛　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06V 10/764(2022.01) G06N 20/00(2019.01) G06F 9/48(2006.01) (54)发明名称 面向异构计算设备的深度学习图像分类方 法及装置 (57)摘要 本发明公开了面向异构计算设备的深度学 习图像分类方法及装置， 将深度学习模型建模为 一个有向无环图， 有向无环图的节 点表深度学习 模型的算子， 节点之间的有向边代表深度学习模 型算子间的数据传输； 根据算子分别在各异构计 算设备上的处理时间为节点赋值， 根据算子间数 据在两个计算设备间的传输时间为节点之间的 有向边赋值； 将每个节点之间的有向边替换为新 的节点， 并增加两条有向边， 保持有向无环图的 拓扑结构， 用原有向边的权重为新的节点赋值； 对算子的内存占用、 设备的内存限制、 算子在设 备上的执行顺序、 设备与设备间的数据传输、 设 备与设备间的数据传输顺序建模， 模 型的目标函 数是模型的端到端推理时延， 从而得到最小时延 的模型。 权利要求书3页 说明书8页 附图5页 CN 115249315 A 2022.10.28 CN 115249315 A 1.一种面向异构计算设备的深度学习图像分类方法， 其特 征在于包括如下步骤： 步骤S1， 将深度学习模型建模为有向无环图， 其中有向无环图的节点表示深度学习模 型的算子， 有向无环图的有向边表示深度学习模型算子间的数据传输， 获取算子在各计算 设备上的计算时间， 以及算子间的数据在两个 计算设备间的数据传输时间； 步骤S2， 将有向无环图中的有向边替换为新的节点， 并在新的节点与原节点之间添加 新的有向边， 生成新的有向无环图； 步骤S3， 构建计算设备及其运行计算任务处理时间、 内存开销， 通讯任务时延， 基于有 向无环图的计算任务的紧后任务， 基于新的有向无环图的计算任务或通讯任务的紧后任 务； 步骤S4， 设定分配决策、 通讯决策和时间决策， 分配决策是将任务分配至对应的计算设 备， 通讯决策 是通讯任务的通讯时间， 时间决策 是任务的开始时间； 步骤S5， 将深度学习模型分割成多份算子， 并分配到多个计算设备上执行， 基于步骤S3 和步骤S4中参数构建约束条件， 最小化深度学习模型的推理完成时间； 步骤S6， 将图像输入分割后的计算设备， 基于最小化的深度学习模型进行图像分类。 2.根据权利要求1所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述有向无环图为： 其中 表示有向无环图的节点， 表示有向无环图的有向边； 新的有向无环图为： 其中新的节点 包含有向无环图 的节点 及其有向边 构成的节点； 表示新的有向 边； 设定计算设备编号为k， 所有设备编号的集合为K， 节点计算任务 在设备k上的处理 时间为 ， 通讯任务 的平均传输时延为 ， 节点计算任务 的内存开销为 ， 设备 k的内存上限为 ； 初始的有向无环图G中， 节点计算任务 的直接或间接紧后任务集合 ； 新的有向无环图 中， 节点计算任务或通讯任务 的直接或间接紧后任务集合 ； 分配决策 ， 表示将任务 分配到第k个设备上执行； 通 讯决策 ， 表示 中任务 和任务 存在通讯任务 q的通讯时间； 时间决策 ， 表示任务 的开始 时间； 最小化深度学习模型的推理完成时间表示为 ， 表示第i个算子的完成时 间， 表示深度学习模型表示 最后一个 推理完成的算子 。 3.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， ， ， ， 表示第 个算子计算任务或第i个 通讯任务， 其完成 时间 一定小于等于与他 直接或间接紧后的计算或通讯任务j的开始时间 。权　利　要　求　书 1/3 页 2 CN 115249315 A 24.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， ， ， 表示第i个算子分配在第k个计算设备上时， 其计 算的完成时间为计算 开始时间加上计算所需的时间。 5.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， ， 表示分配决策参数 的数值在所有K个设备上的和为1， 因为一 个算子只由一台设备进行计算， 且在计算过程中不能被中断。 6.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， ， ， 表示每台设备上的算子所占内存大小不能超过该 设备的内存大小。 7.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， ， ， 其中， ， ， ，  and  ， 表示两个在有 向无环图中不存在先后顺序关系 的算子i和j， 当他们布置在同一设备 上时， 一个时刻只能有一个算子被 计算设备 执行。 8.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， ， ， ， ， ， ， 表示针对数据通讯任务 q， ， 当两个存在数据传输的算子被分配到同一台设备上 时， 其数据传输时延忽略不计， 但当两个存在数据传输的算子被 分配到不同设备上时， 存在 数据传输时延。 9.根据权利要求2所述的面向异构计算设备的深度 学习图像分类方法， 其特征在于： 所 述约束条件中， 表示当两个计算设备之间存在多个通讯任务时， 一个时刻只能有一个通讯任务被执 行； 其中Sq表示通讯任务 q的开始时间， Cq表示通讯任务 q的完成时间， Sr表示通讯任务 r的 开始时间， Cr表示通讯任务 r的结束时间， 表示指示变量， 且 ，   并且  ， ， ， ； 分别表示相对于指标变量、权　利　要　求　书 2/3 页 3 CN 115249315 A 3