(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210259204.1 (22)申请日 2022.03.14 (71)申请人 北京明略昭辉科技有限公司 地址 100098 北京市海淀区北三环西路25 号27号楼二层2020室 (72)发明人 赵波　胡郡郡　唐大闰　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 曾军 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/56(2019.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于联合学习的图像检索方法及装置、 存储 介质、 电子设备 (57)摘要 本发明公开了一种基于联合学习的图像检 索方法及装置、 存储介质、 电子设备， 属于 人工智 能领域。 其中， 该方法包括： 提取目标图像的局部 图像和全局图像， 其中， 所述目标图像包括所述 局部图像和所述全局图像； 分别获取所述局部图 像的局部 特征和所述全局图像的全局特征； 采用 所述局部特征和所述全局特征生成所述目标图 像的融合特征向量； 根据所述融合特征向量进行 图像检索。 通过本发明， 兼顾整体和细节， 提升了 融合特征向量的图像特征的表征能力， 解决了相 关技术中图像检索精度低的技术问题， 提升了目 标图像的检索精度。 权利要求书2页 说明书10页 附图4页 CN 114610942 A 2022.06.10 CN 114610942 A 1.一种基于联合学习的图像 检索方法， 其特 征在于， 包括： 提取目标图像的局部 图像和全局图像， 其中， 所述目标图像包括所述局部 图像和所述 全局图像； 分别获取 所述局部图像的局部特 征和所述全局图像的全局特 征； 采用所述局部特 征和所述全局特 征生成所述目标图像的融合特 征向量； 根据所述融合特 征向量进行图像 检索。 2.根据权利要求1所述的方法， 其特征在于， 根据所述融合特征向量进行图像检索包 括： 将所述目标图像 拆分为多个图像块； 基于所述多个图像块 生成所述目标图像的自注意力特 征向量； 采用所述自注意力特 征向量和所述融合特 征向量进行图像 检索。 3.根据权利要求2所述的方法， 其特征在于， 基于所述多个图像块生成所述目标图像的 自注意力特 征向量包括： 将所述多个图像块按序并列输入自注意力模型； 从所述自注意力模型的编码器输出自注意力特征向量， 其中， 所述自注意力模型包括 编码器和 解码器， 所述自注意力模型采用多个样本对训练得到， 每个所述样本对包括样本 图像和已分类的向量分隔符。 4.根据权利要求2或3所述的方法， 其特征在于， 采用所述自注意力特征向量和所述融 合特征向量进行图像 检索包括： 将所述自注意力特 征向量和所述融合特 征向量进行向量相加， 得到混合特 征向量； 计算所述混合特征向量与数据集中所有图像向量的相似度， 其中， 所述数据集包括多 张候选图像， 每张候选图像对应一个图像向量； 将相似度最大的若干张候选图像输出为所述目标图像的检索结果。 5.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 分别获取所述局部图像的局部 特征和所述全局图像的全局特 征包括： 将所述全局图像的缺失区域采用空白像素进行填充， 得到填充图像； 将所述局部图像和所述填充图像分别输入第 一卷积神经网络和第 二卷积神经网络， 从 所述第一卷积神经网络输出所述局部特征， 从所述第二卷积神经网络输出全局特征， 其中， 所述第一卷积神经网络配置第一网络权重系数， 所述第二卷积神经网络配置第二网络权重 系数。 6.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 提取目标图像的局部图像和全 局图像包括： 采用检测器对所述目标图像进行目标检测， 将所述检测器输出得分最高的候选区域确 定为目标区域； 将所述目标区域识别为所述目标图像的前景图像， 将所述目标图像除所述目标区域之 外的其他图像识别为背景图像； 将所述前 景图像确定为局部图像， 所述背景图像确定为全局图像。 7.根据权利要求6所述的方法， 其特征在于， 采用检测器对所述目标图像进行目标检测 包括：权　利　要　求　书 1/2 页 2 CN 114610942 A 2将所述目标图像输入卷积层， 从所述卷积层输出特征图， 其中， 所述检测器包括所述卷 积层和目标检测网络， 其中， 所述 目标检测网络采用带标注的样本数据和损失曲线预先训 练得到； 将所述特 征图输入所述目标检测网络， 生成若干个不同分数的候选 框。 8.一种基于联合学习的图像 检索装置， 其特 征在于， 包括： 提取模块， 用于提取目标图像的局部图像和全局图像， 其中， 所述目标图像包括所述局 部图像和所述全局图像； 获取模块， 用于分别获取 所述局部图像的局部特 征和所述全局图像的全局特 征； 生成模块， 用于采用所述局部特征和所述全局特征生成所述目标图像的融合特征向 量； 检索模块， 用于根据所述融合特 征向量进行图像 检索。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的程序， 其中， 所述程序运行时 执行上述权利要求1至7中任一项所述的方法的步骤。 10.一种电子设备， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理器， 通信接 口， 存储器通过通信总线完成相互间的通信； 其中： 存储器， 用于存放计算机程序； 处理器， 用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方 法的步骤。权　利　要　求　书 2/2 页 3 CN 114610942 A 3