(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210250180.3 (22)申请日 2022.03.15 (71)申请人 安徽工业大学 地址 243002 安徽省马鞍山市花 山区湖东 路59号 (72)发明人 张辉宜　夏媛龙　黄俊　 (74)专利代理 机构 安徽知问律师事务所 34134 专利代理师 平静 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合标签间强相关性的多标签图像分 类方法 (57)摘要 本发明公开了一种融合标签间强相关性的 多标签图像分类方法， 包含以下步骤： 将数据集 中的标签聚类为M个社区， 将传统的标签共现矩 阵分割为M重标签共现张量； 将待训练图片送入 到通用卷积神经网络中， 并在最后一个阶层后经 过M重类属池化， 得到多重类属特征图； 将标签共 现张量和标签嵌入矩 阵送入到多重图卷积神经 网络中， 在最后一个多重图卷积层后， 利用注意 力融合机制将M重标签表示张量融合为一张标签 表示矩阵； 将标签子语义关系融入到卷积神经网 络中间阶层； 将社区编码信息融入到标签表示矩 阵中， 并与多重类属特征图做标签级别乘法； 构 建全局目标函数。 本发明学习到标签相关性和标 签间强相关性， 并融入到特征图中， 提高了多标 签分类任务 性能。 权利要求书5页 说明书9页 附图3页 CN 114648635 A 2022.06.21 CN 114648635 A 1.一种融合标签间强相关性的多标签图像分类方法， 其特 征在于， 包括以下步骤： S1、 利用数据集中的标签共现关系， 构造标签共现矩阵； 利用社区检测算法将标签节点 划分为M个社区； 设置阈值将标签共现矩阵分割为M个共现子图； S2、 获取训练数据的图像文件， 送入卷积神经网络中提取图像特征， 获得特征图， 特征 图经过多重类属池化操作， 将特 征图转化为M个二维类属特 征图， 并列向拼接在一 起； S3、 获取标签嵌入矩阵， 获取标签共现张量， 将M个标签共现张量和标签嵌入矩阵送入 到多重图卷积神经网络中， 得到M重标签节 点表示张量， 利用标签级别注意力融合机制， 将M 重标签节点表示张量融合 为一个标签节点表示矩阵； S4、 利用注意力机制将多重图卷积层生成的M重标签节点表示张量融合到通用卷积神 经网络的中间阶层输出的特 征图中； S5、 根据社区检测算法将标签节点划分的M个社区， 构建社区编码M矩阵， 将M矩阵与融 合机制融合的标签节点表示矩阵相乘， 得到带有社区编码的标签节点表示矩阵， 将该矩阵 与列向拼接在一 起的多重类属特 征图相乘， 得到的预测标签用于分类； S6、 构建损失函数， 其中包含多标签分类损失函数和学习多重类属池化层中参数矩阵 的目标函数。 2.根据权利要求1所述的一种融合标签间强相关性的多标签图像分类方法， 其特征在 于， 步骤S1具体包括如下步骤： (1‑1)获取训练数据的图像文件和训练数据的中的标签， 对标签建立共现关系邻接矩 阵A∈RC×C， 其中， Aij＝1表示标签Li出现时， 标签Lj也有可能会出现， 否则Aij＝0,如下： 首先统计标签在数据集中的共现关系， 并构造Z矩阵， Z∈RC×C,其中， Zij表示标签Li与标 签Lj在数据集中共同出现的次数， 通过Z矩阵并利用基本的条件概率公式， 构造出条件概率 矩阵P∈RC×C， Pij＝P(Lj|Li)， 表示当标签Li出现时， 标签Lj出现的概率， 通过设置阈值τ， 将P 矩阵二值化， 构造标签共现矩阵A∈RC×C， 如下： (1‑2)利用社区检测算法将标签节点划分为M个社区， 邻接矩阵A的模块度定义如下： 其中， di＝∑kAi， k为第i个节点的度， 并且， δ(ci,cj)用来检测i节点和j 节点是否在同一个社区， 如果在同一个社区， 则 δ(ci,cj)＝1， 否则， δ(ci,cj)＝0； 将每个节点独立当做一个社区， 为了使得模块度达到最大化， 将其他标签节点纳入自 己社区； 直到模块度不发生变化 时， M个社区被检测到， 即所有的数据集中的标签节点被划分为 M个社区； (1‑3)设置阈值构建标签共现张量， 如下： 在条件概率矩阵P上设置阈值T＝[t1， ...， tm]， 其中， ti∈[0,1]且 构建标签共现张量 如下：权　利　要　求　书 1/5 页 2 CN 114648635 A 2其中， 由标签共现矩阵 组成， 表示第 k个子图中， 标签Li出现时， 标签Lj也有可能会出现。 3.根据权利要求2所述的一种融合标签间强相关性的多标签图像分类方法， 其特征在 于： 步骤S2具体包括如下步骤： (2‑1)获取训练数据的图像文件， 输入到Resnet ‑101卷积神经网络当中； 通过Resnet ‑ 101特征提取， 得到最后阶层输出 的特征图， 将此特征图表示为 其中， H、 W和Dc分别为特 征图的高、 宽和通道； (2‑2)改变原 始特征图Xconv的维度： Xlsp＝Wlsp×R(Xconv) 通过维度变换操作R( ·)将Xconv从三维张量映射到二维矩阵， 并让参数矩阵Wlsp∈RC×HW 左乘 其中， C为标签 类别数， 得到维度变换的类属特 征图 (2‑3)同样方法重复M次， 具体如下： 其中， i为1到M之间的正整数， M为标签共现子图个数或社区个数， 并将M个类属特征图 按列向拼接， 得到多重类属特 征图 (2‑4)利用分割子图后的标签共现关系学习参数矩阵 如下： 其中， 为标签共现张量中第i个子图。 4.根据据权利要求3所述的一种融合标签间强相关性的多标签图像分类方法， 其特征 在于， 步骤S3具体包括如下步骤： (3‑1)将标签共现 张量 和标签嵌入矩阵E∈RC×D送往多重图卷积神经网络 中， 如下： 多重图卷积层第一层输入为标签嵌入矩阵E∈RC×D和归一化后的多重邻接子图 子图被送入到不同的图卷积层中， 经过多重图卷积层后， 得到标签表示张量 其中， Ll为第l层图卷积输入的标签表示张量的节点维度， l≥2； h( ·)为非线 性激活函数； 上 式为多重图卷积层在大于两层时的表达式， 其中的 为图卷积层中的参数 矩阵 ,每层节点表示维度由参数 决定； 类似于上式， 第一层图卷积层表达式为 权　利　要　求　书 2/5 页 3 CN 114648635 A 3