(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593162.5 (22)申请日 2022.05.27 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518044 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 詹佳伟　刘俊　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 朱佳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) (54)发明名称 一种多标签图像分类方法、 装置、 电子设备 及存储介质 (57)摘要 本申请公开一种多标签图像分类方法、 装 置、 电子设备及存储介质， 涉及计算机技术领域。 本申请实施例可应用于云技术、 人工智 能、 智慧 交通、 辅助 驾驶等各种场景中。 在该方法中， 对待 分类图像进行特征提取， 获得相应的全局特征， 并通过对待分类图像中候选对象进行识别获得 的至少一个边界框， 对全局特征进行划分， 获得 相应的至少一个局部特征， 将通过对全局特征执 行自注意力机制获得的全局注意力特征， 与至少 一个局部 特征再次执行自注意力机制， 获得相应 的目标全局特征和至少一个目标局部特征， 进而 根据目标全局特征和至少一个目标局部特征， 获 得待分类图像对应的目标分类标签。 与相关技术 相比， 可以有效地提高对图像进行多标签分类的 准确度。 权利要求书3页 说明书19页 附图12页 CN 115131604 A 2022.09.30 CN 115131604 A 1.一种多标签图像分类方法， 其特 征在于， 包括： 对待分类图像进行特征提取， 获得相应的全局特征； 所述全局特征包含所述待分类图 像中的各像素点的属性特 征； 识别所述待分类图像中的至少一个候选对象各自对应的边界框， 并基于获得的至少一 个边界框， 对所述全局特 征进行划分， 获得 所述至少一个边界框各自对应的局部特 征； 基于所述各像素点的属性特征， 以及各属性特征之间的第一关联度， 获得相应的全局 注意力特 征； 基于所述全局 注意力特征和至少一个局部特征， 以及所述全局 注意力特征与 所述至少 一个局部特 征之间的第二关联度， 获得相应的目标全局特 征和至少一个目标局部特 征； 基于所述目标全局特征和所述至少一个目标局部特征， 获得所述待分类图像对应的目 标分类标签。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述各像素点的属性特征， 以及 各属性特 征之间的第一关联度， 获得相应的全局注意力特 征， 包括： 针对所述各像素点， 分别执行以下操作： 将一个像素点作为查询像素点， 所述各像素点 中的其他像素点作为关键像素点； 基于自注意力机制， 将所述查询像素点的属性特征， 分别 与各关键像素点各自的属性特 征进行关联度匹配， 获得 各属性特 征之间的第一关联度； 根据各第一关联度， 对所述各像素点的属性特征进行加权合并， 获得相应的全局注意 力特征。 3.根据权利要求1所述的方法， 其特征在于， 基于所述全局注意力特征和至少一个局部 特征， 以及所述全局注意力特征与所述至少一个局部特征之间的第二关联度， 获得相 应的 目标全局特 征和至少一个目标局部特 征， 包括： 针对至少一个局部特征， 分别执行以下操作： 基于自注意力 机制， 将一个局部特征中的 各像素点的属性特征， 分别与所述全局注意力特征中的各像素点的注意力特征进 行关联度 匹配， 获得 所述一个局部特 征与所述全局注意力特 征之间的第二关联度； 根据各第二关联度， 对所述全局 注意力特征和所述至少一个局部特征分别进行加权合 并， 获得相应的目标全局特 征和至少一个目标局部特 征。 4.根据权利要求1、 2或3所述的方法， 其特征在于， 所述基于所述目标全局特征和所述 至少一个目标局部特 征， 获得所述待分类图像对应的目标分类标签， 包括： 基于多标签分类模型， 分别确定出所述目标全局特征对应的全局分类标签结果和所述 至少一个目标局部特 征各自对应的局部分类标签结果； 根据所述全局分类标签结果和各局部分类标签结果， 获得所述待分类图像对应的目标 分类标签。 5.根据权利要求4所述的方法， 其特征在于， 所述基于多标签分类模型， 分别确定出所 述目标全局特征对应的全局分类标签结果和所述至少一个目标局部特征各自对应的局部 分类标签结果， 包括： 将所述目标全局特征输入多标签分类模型， 获得所述目标全局特征分别属于各个候选 分类的第一 概率值， 并将各第一 概率值作为全局分类标签结果； 将所述至少一个目标局部特征， 分别输入所述多标签分类模型， 获得所述至少一个目 标局部特征各自属于各个候选 分类的第二概率值， 并将各第二概率值作为局部 分类标签结权　利　要　求　书 1/3 页 2 CN 115131604 A 2果。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述全局分类标签结果和各局部 分类标签结果， 获得 所述待分类图像对应的目标分类标签， 包括： 针对所述各个候选分类， 分别执行以下操作： 根据所述至少一个目标局部特征各自属 于一个候选分类的第二概率值， 将符合设定取值条件的第二概率值， 与所述一个候选分类 对应的第一 概率值进行平均， 确定所述 一个候选分类对应的目标概 率值； 根据所述各个候选分类各自对应的目标概率值， 将所述目标概率值大于设定 阈值的候 选分类， 作为所述待分类图像对应的目标分类标签。 7.根据权利要求 4所述的方法， 其特 征在于， 所述多标签分类模型的训练过程包括： 获取训练数据集； 所述训练数据集中包括多个图像样本， 所述图像样本中标注有设定 分类标签； 基于所述训练数据集， 对所述多标签分类模型进行迭代训练， 直到满足设定的收敛条 件为止， 其中， 一次迭代训练过程包括： 基于从所述训练数据集中抽取的图像样本， 获得所述图像样本对应的目标全局样本特 征和至少一个目标局部样本特 征； 通过所述多标签分类模型， 根据所述目标全局样本特征和所述至少一个目标局部样本 特征， 确定所述图像样本对应的目标样本分类标签， 并基于所述 目标样本分类标签与所述 设定分类标签确定的损失值， 对所述多标签分类模型进行参数调整。 8.根据权利要求7所述的方法， 其特征在于， 所述获得所述图像样本对应的目标全局样 本特征和至少一个目标局部样本特 征， 包括： 对所述图像样本进行特征提取， 获得相应的全局样本特征， 并基于对所述图像样本中 的至少一个候选样本对象进行识别获得的至少一个边界框， 对所述全局样本特征进行划 分， 获得所述至少一个样本边界框各自对应的局部样本特 征； 根据所述全局样本特征和至少一个局部样本特征， 获得相应的目标全局样本特征和至 少一个目标局部样本特 征。 9.根据权利要求7所述的方法， 其特征在于， 所述通过所述多标签分类模型， 根据所述 目标全局样本特征和所述至少一个目标局部样本特征， 确定所述图像样本对应的目标样本 分类标签， 包括： 通过所述多标签分类模型， 确定所述目标全局样本特征分别属于各个候选样本分类的 第一样本概率值， 以及所述至少一个目标局部样本特征各自属于各个候选样本 分类的第二 样本概率值； 根据所述各个候选样本分类对应的第 一样本概率值和第 二样本概率值， 确定所述图像 样本对应的目标样本分类标签。 10.一种多标签图像分类装置， 其特 征在于， 包括： 全局特征提取单元， 用于对待分类图像进行特征提取， 获得相应的全局特征； 所述全局 特征包含所述待分类图像中的各像素点的属性特 征； 局部特征确定单元， 用于识别所述待分类图像中的至少一个候选对象各自对应的边界 框， 并基于获得的至少一个边界框， 对 所述全局特征进 行划分， 获得所述至少一个边界框各 自对应的局部特 征；权　利　要　求　书 2/3 页 3 CN 115131604 A 3