(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210328266.3 (22)申请日 2022.03.31 (71)申请人 中国石油大 学 （华东） 地址 266580 山东省青岛市黄岛区长江西 路66号 (72)发明人 刘宝弟　兴雷　邵帅　刘伟锋　 袁新安　李伟　葛新民　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 基于融合自监督的特征提取器的生成方法 及装置 (57)摘要 本发明涉及模式识别技术领域， 尤其涉及一 种基于融合自监督的特征提取器的生成方法及 装置， 旨在解决现有的特征提取器采用单一的自 监督方法， 容易引起归纳偏差的问题。 该基于融 合自监督的特征提取器的生 成方法及装置， 提出 了一种新的自监督学习方法 ‑融合自监督学习， 通过两种自监督机制分别训练特征提取器， 得到 基于旋转的自监督特征提取器和基于镜像的自 监督特征提取器， 从而挖掘更多有意义的信息； 通过多个维度对两个特征提取器(即基于旋转的 自监督特征提取器和基于镜像的自监督特征提 取器)进行学习， 融合得到最终的特征提取器， 减 少单一自监督方法引起的表征偏 差， 丰富和加强 表征信息， 为下游分类任务提供强大的特征表 示。 权利要求书3页 说明书8页 附图1页 CN 114758169 A 2022.07.15 CN 114758169 A 1.一种基于融合自监 督的特征提取器的生成方法， 其特 征在于， 所述方法包括： 使用resnet ‑12网络作为特征提取网络， 设计基于旋转的自监督特征提取器fRFE(·)， 其中， 基于 旋转的自监 督特征提取器fRFE(·)的自监督损失函数LRFE为： LRFE＝Lc+Lr 其中， Lc表示标准分类损失； Lr表示辅助旋转损失； 其中， 标准分类损失Lc为： 其中， c表示第c类样本； y(c,x)表示样本真实标签； p(c,x)表示样本的预测标签属于第c类 的概率； 其中， 辅助旋转损失Lr为： 其中， r＝{0 °,90°,180°,270°}表示以不同角度旋转的样本标签； y(r,x)表示真值标签； p(r,x)表示样本的预测标签属于第r类的概 率。 使用resnet ‑12网络作为特征提取网络， 设计基于镜像 的自监督特征提取器fMFE(·)， 其中， 基于 镜像的自监 督特征提取器fMFE(·)的自监督损失函数LMFE为： LMFE＝Lc+Lm 其中， Lc表示标准分类损失； Lm表示辅助镜像损失； 其中， 辅助镜像损失Lm为： 其中， m表示 m类数据， m＝{水平 镜像、 垂直镜像、 对角镜像}； y(m,x)表示真值标签； p(m,x)表 示样本的预测标签属于第m类的概 率。 通过多个维度对两个特征提取器(即基于旋转的自监督特征提取器和基于镜像的自监 督特征提取器)进行学习， 融合得到最终的特征提取器h( ·)， 其中， h( ·)的训练损失函数 (即多维融合损失函数)为： LMDF＝α LFA+β LSA+γLLA 其中， LFA表示特征对齐损失； LSA表示语义对齐损失； LLA表示标签对齐损失； α、 β和γ表 示超参数。 2.根据权利要求1所述的方法， 其特 征在于， 所述特 征对齐损失LFA为： LFA＝||h(x)‑fRFE(x)||2+||h(x)‑fMFE(x)||2 其中， h(x)， fRFE(x)和fMFE(x)分别表示由h( ·)、 fRFE(·)和fMFE(·)获得的样本x的特 征； ||·||2表示(·)的2范数正则化。 3.根据权利要求2所述的方法， 其特 征在于， 所述语义对齐损失LSA为： 权　利　要　求　书 1/3 页 2 CN 114758169 A 2其中， i表示第i类样本； 分别表示fRFE(x)， fMFE(x)， h(x)在蒸馏温度T下的softmax输出。 4.根据权利要求3所述的方法， 其特 征在于， 所述标签对齐损失LLA为： 其中， i表示第i类样本； y(i,x)表示样本真实标签； p(i,x)表示样本的预测标签属于第i类 的概率。 5.一种基于融合自监 督的特征提取器的生成装置， 其特 征在于， 所述装置包括： 第一自监督特征提取器生成模块， 用于使用resnet ‑12网络作 为特征提取网络， 设计基 于旋转的自监督特征提取器fRFE(·)， 其中， 基于旋转的自监督特征提取器fRFE(·)的自监 督损失函数LRFE为： LRFE＝Lc+Lr 其中， Lc表示标准分类损失； Lr表示辅助旋转损失； 其中， 标准分类损失Lc为： 其中， c表示第c类样本； y(c,x)表示样本真实标签； p(c,x)表示样本的预测标签属于第c类 的概率； 其中， 辅助旋转损失Lr为： 其中， r＝{0 °,90°,180°,270°}表示以不同角度旋转的样本标签； y(r,x)表示真值标签； p(r,x)表示样本的预测标签属于第r类的概 率。 第二自监督特征提取器生成模块， 用于使用resnet ‑12网络作 为特征提取网络， 设计基 于镜像的自监督特征提取器fMFE(·)， 其中， 基于镜像的自监督特征提取器fMFE(·)的自监 督损失函数LMFE为： LMFE＝Lc+Lm 其中， Lc表示标准分类损失； Lm表示辅助镜像损失； 其中， 辅助镜像损失Lm为： 其中， m表示 m类数据， m＝{水平 镜像、 垂直镜像、 对角镜像}； y(m,x)表示真值标签； p(m,x)表 示样本的预测标签属于第m类的概 率。 最终特征提取器生成模块， 用于通过多个维度对两个特征提取器(即基于旋转的自监 督特征提取器和基于镜像的自监督特征提取器)进行学习， 融合得到最终的特征提取器h (·)， 其中， h( ·)的训练损失函数(即多维融合损失函数)为： LMDF＝α LFA+β LSA+γLLA权　利　要　求　书 2/3 页 3 CN 114758169 A 3