(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210363652.6 (22)申请日 2022.04.07 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 查正军　曹洋　翟伟　朱凯　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于自保持表征扩展的类增量学习的 图像分类方法 (57)摘要 本发明公开了一种基于自保持表征扩展的 类增量学习的图像分类方法， 包括： 1、 利用 初始 图片集优化得到基本的图像分类网络； 2、 基于残 差适应器， 对初始特征提取部分进行结构扩展； 3、 输入重采样的初始 类原型和增量类样本， 计算 扩展后网络的分类损失函数； 4、 将增量类样本输 入扩展前的特征提取部分， 利用欧式距离计算蒸 馏损失函数。 5、 根据损失函数更新网络， 并引入 结构重参数化技术恢复网络结构， 获得增量后的 分类网络。 本发 明能解决图像分类网络基于用户 数据进行结构 扩增过程中参数量增长过快， 以及 依赖额外记忆内存的问题， 从而在提升图像增量 分类能力的同时， 降低了对网络存储的需求， 避 免了训练图像增量分类网络时泄露用户隐私的 可能。 权利要求书3页 说明书7页 附图1页 CN 114677547 A 2022.06.28 CN 114677547 A 1.一种基于自保持表征扩展的类增量学习的图像分类方法， 其特征在于， 包括如下步 骤： 步骤一、 初始分类网络的构建和优化： 步骤1.1、 获取初始阶段已知类别的图像样本并进行归一化处理， 获得第一阶段的图像 集 其中， 表示初始阶段第k个类别中的第i个图像样本， 表示初 始阶段第k个类别中的第i个图像样 本 的类别标签， K代表图像集包含的类别数目， Nk代表 第k个类别的样本数目； 步骤1.2、 构建以ResNet ‑18深度学习网络为基础的初始分类网络F： 所述ResNet ‑18深度学习网络包括5个阶段， 其中， 第1个 阶段Stage  0由一个卷积核为 n1×n1的卷积层， 一个批量归一化处理层， 一个ReLU激活函数层组成， 其余4个阶段均由2个 Basicblock模块组成， 每个Basicblock模块依次由一个卷积核为n2 ×n2的卷积层， 一个 ReLU激活函数层， 一个卷积核为 n2×n2的卷积层组成； 将所述ResNet ‑18深度学习网络直接作为初始分类网络F的特征提取部分f； 并用一个 全连接层作为初始分类网络F的分类 器部分g； 步骤1.3、 训练优化所述初始分类网络F： 将第一阶段的图像集D1按批次送入初始分类网络F， 并依次经过特征提取部分f和分类 器部分g的处理后， 输出预测类别标签， 从而按照式(1)计 算交叉熵损失Lcross， 并使用梯度下 降算法优化所述初始分类网络F中所有的参数， 从而得到训练好的初始分类网络F'： 式(1)中， xj表示第一阶段的图像集D1中的第j个图像样本， 表示第j个图像样本xj的 指示函数， 若xj的类别标签yj与k相等， 则令 否则， 令 N代表K个类别所有样本的数 目； 步骤1.4、 原型保存： 对于训练好的初始分类网络F'， 将第一阶段的图像集D1逐类别送入训练后的特征提取 部分f'， 并对 各个类别的输出取平均后， 将平均结果作为各类原型{p1,…,pk,…,pk}保存到 增量阶段； pk表示第k类原型； 步骤二、 增量阶段的特 征提取器结构扩展： 步骤2.1、 获取增量阶段中第h阶段的图像样本并进行归一化处理， 得到第h阶段的图像 集 其中， 表示第h阶段第k个类别中的第i个图像样 本， 表示第h阶段第k个类别中的第i个图像样本 的类别标签， Kh为第h阶段新增的图 像类别数目， 且Dh和其余h‑1阶段的图像集中所有类别均不相同； 步骤2.2、 网络的增量结构扩展： 在所述训练后的特征提取部分f'中的每个卷积层上均并联一个残差适应器， 所述残差 适应器包括一个n3×n3卷积层， 构成第h阶段的增量扩增的特 征提取部分fh； 在训练后的分类器部分g'的全连接层中添加Kh个输出结点， 构成第h阶段的增量扩增的权　利　要　求　书 1/3 页 2 CN 114677547 A 2分类器部分gh， 从而与fh一起构成第h阶段的增量扩增网络Fh； 步骤三、 基于原型选择 策略的表征优化： 步骤3.1、 原型度量： 将第h阶段的图像集Dh中的图像依次送入到第h阶段的增量扩增的特征提取部分fh中， 并利用式(2)得到每个图像样 本的特征表达； 再利用式(3)计算每个图像样本的特征表达 分 别与保存的各个原型之 间的相似性得分， 并取一个图像样本中所有相似性得分的最大值作 为相应图像样本的相似性度量： 式(2)和式(3)中， 代表第h阶段图像集Dh中的第j个图像样本在增量扩增的特征提取 部分fh中的特征表示， pk代表保存的第k个类别的原型， Sj,k,h代表第h阶段图像集Dh中的第j 个图像样本与第k个类别的原型pk之间相似性得分， Cosine代表夹角余弦操作子， Nor代表 归一化操作子； 步骤3.2、 选择性分类优化； 设定阈值δ， 并将各个图像样本的相似性度量与阈值δ 比较， 若低于阈值δ， 则将相应图 像样本的分类权值 参数置为1， 反 之， 则置为0； 利用式(4)计算第h阶段的图像 类别的分类损失 式(4)中， 代表第h阶段图像集Dh中的第j个图像样本的分类权值 参数； 步骤3.3、 选择性蒸馏优化； 将各个图像样本的相似性度量与所述阈值δ 比较， 若高于阈值δ， 则将相应图像样本的 蒸馏权值 参数置为1， 反 之， 则置为0； 利用式(5)计算第h阶段的蒸馏损失 式(5)中， 代表第h阶段中第j个图像样本的蒸馏权值参数， E代表欧式距离操作算子， f'h‑1代表第h‑1阶段的训练后的特 征提取网络； 步骤四、 基于原型重采样的分类 器平衡： 步骤4.1、 原型 上采样： 在第h阶段的每个训练批次中将原型复制 次后， 得到上采样后的原型， 其中， B代表每 个批次的样本数目； 步骤4.2、 分类 器损失增强： 将上采样后的原型送入第h阶段的增量扩增的分类器部分gh， 并利用式(6)计算增强损 失 权　利　要　求　书 2/3 页 3 CN 114677547 A 3