(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157147.2 (22)申请日 2022.09.21 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 许林峰　王志川　邱子欢　吴庆波　 潘力立　孟凡满　李宏亮　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于泛化特征表示和自适应蒸馏的类增量 图像识别方法 (57)摘要 本发明公开了一种基于泛化特征表示和自 适应蒸馏的类增量图像识别方法， 属于图像处理 和深度学习领域， 本发明方法包括： 利用泛化特 征表示正则模块约束网络骨干学习更泛化的特 征表示， 从而兼顾新知识的容纳和旧知识的保 持； 利用自适应蒸馏算法动态 地调整在学习新类 别时用来保持旧类别知 识的蒸馏方法的强度。 本 发明能有效避免学习新的类别时造成的旧类别 遗忘的现象， 并且不额外增加模 型参数量或网络 结构。 本发 明有效提升了模型处理类增量问题的 性能。 权利要求书1页 说明书4页 附图2页 CN 115482454 A 2022.12.16 CN 115482454 A 1.基于泛化特征表示和自适应蒸馏的类增量图像识别方法， 其特征在于， 包括下列步 骤： 步骤1： 构建用于图像识别的深度学习网络， 所述深度学习网络依次包括特征提取网 络、 泛化特 征表示正则模块和分类 器； 特征提取网络用于获取输入图像的特 征图； 泛化特征表示正则模块包括三个不同尺度的池化层， 对于特征提取网络提取的特征 图， 通过泛化特征表示正则模块将其池化处理到不同尺度后， 再拉直为向量并拼接， 再将拼 接成的向量输入分类 器； 分类器用于对指定的目标类别进行分类输出； 基于构建的深度学习网络学习第一批目标类别； 步骤2： 学习第t批目标类别时， 采用的损失函数为： L＝Lcls(Φt， x， y)+ryLdis(Φt， Φt‑1， x) 其中， Lcls()表示分类损失函数， Ldis()表示蒸馏损失函数， Φt和Φt‑1分别代表学习 第t 批和t‑1批目标类别时的深度学习网络， x表示输入深度学习网络的其中的一张图片， y表 示 图片x的标签， ry表示类别y的蒸馏强度， t的初始值 为2， 且t＞1； 步骤3： 令t自增1， 继续执行步骤2， 循环此过程直到学习完所有类别， 基于学习后的深 度学习网络获取目标图像的图像识别结果。 2.如权利要求1所述的方法， 其特征在于， 蒸馏强度由自适应蒸馏算法动态调整的方式 为： (a)判断目标的批次， 若为第二批， 则执 行步骤(b)， 否则执 行步骤(c)； (b)将所有旧类别的新蒸馏强度Rnew＝[rn1， rn2…， rni…， rnm]初始化为0， 旧蒸馏强度Rold ＝[ro1， ro2…， roi…， rom]初始化为1； 其中， rni表示类别i的新蒸馏强度， roi表示类别i的旧蒸 馏强度， i ＝1， 2，…， m； m表示类别数量； (c)将所有旧类别的新蒸馏强度Rnew＝[rn1， rn2…， rni…， rnm]初始化为0， 获取学习上一 批目标时存 储的Rold； (d)将存储的关于旧类别i的所有图片分别输入深度学习网络Φt和Φt‑1并得目标分类 的到预测结果， 基于各自的预测结果分别得到模 型Φt和Φt‑1的交叉熵损失的均值tce和(t‑ 1)ce， 并定义g ap表示交叉熵损失的均值tce和(t‑1)ce的差； (e)更新类别i的蒸馏强度： rni＝β *roi+(1‑β )*gap， β 表示设置的超参数， 取值 为0～1； (f)返回步骤(d)， 直到所有旧类别的蒸馏强度均得到更新； (g)令Rold等于Rnew并存储。权　利　要　求　书 1/1 页 2 CN 115482454 A 2基于泛化特征表示和自适应蒸馏的类增量图像识别方 法 技术领域 [0001]本发明属于图像处理技术领域， 具体涉及 一种基于泛化特征表示和自适应蒸馏的 类增量图像识别方法。 背景技术 [0002]传统的深度学习方法遵循 “一次训练 ”的策略， 即一次性收集所有目标类别的数据 来进行训练。 这种 范式的深度学习方法在很多领域应用取得了优异的结果， 但是在大多数 的现实场景中， “一次训练 ”通常是不可行的。 这些现实场景很难一次性获得所有的目标类 别数据， 因此要求模型 可以处理连续到来的数据流， 即不断地学习新的类别。 [0003]现有类增量学习方法通常在模型学习新类别时施加约束， 以减缓旧类别的遗忘。 然而这种方法在学习新类别时通常会造成旧类别精度的大幅下降。 另外一种方法是为新类 别分配未使用的参数或者增加部分网络结构。 然而此类方法造成模型 的参数量不断增加， 导致更大的计算 开销。 发明内容 [0004]本发明的内容是提供一种基于泛化特征表示和自适应蒸馏的类增量学习方法， 其 能够克服现有技 术的某种或某些缺陷。 [0005]本发明的基于泛化特征表示和自适应蒸馏的类增量图像识别方法， 其包括以下步 骤： [0006]步骤1： 构建用于图像识别的深度学习网络， 所述深度学习网络依次包括特征提取 网络、 泛化特 征表示正则模块和分类 器； [0007]特征提取网络用于获取输入图像的特 征图； [0008]泛化特征表示正则模块包括三个不同尺度的池化层， 对于特征提取网络提取的特 征图， 通过泛化特征表示正则模块将其池化处理到不同尺度后， 再拉直为向量并拼接， 再将 拼接成的向量输入分类 器； [0009]分类器用于对指定的目标类别进行分类输出， 即输出当前输入对象属于各目标类 别的概率， 基于最大概 率确定分类结果， 从而得到图像识别结果； [0010]基于构建的深度学习网络学习第一批目标类别； [0011]步骤2： 学习第t(t初始化 为2， t>1)批目标类别时， 采用的损失函数为： [0012]L＝Lcls(Φt,x,y)+ryLdis(Φt,Φt‑1,x) [0013]其中， Lcls()表示分类损失函数， Ldis()表示蒸馏损失函数， Φt和Φt‑1分别代表学 习第t批和t ‑1批目标类别时的深度学习网络(Φt和Φt‑1的网络结构相同， 网络参数不同)， x表示输入深度学习网络的其中的一张图片， y表示图片x的标签， ry表示类别y的蒸馏强度； [0014]步骤3： 回到步骤2， 将t加1， 循环此过程直到学习完所有类别， 基于学习后的深度 学习网络获取目标图像的图像识别结果。 [0015]进一步的， 蒸馏强度由自适应蒸馏算法动态调整的方式为：说　明　书 1/4 页 3 CN 115482454 A 3