(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122204.3 (22)申请日 2022.09.15 (71)申请人 河北金叶子药业有限公司 地址 071200 河北省保定市安国市中药产 业园区金木大街28号 申请人 天津大学 (72)发明人 钮立强　杨柳　阮灿光　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 吴学颖 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 20/60(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图卷积神经网络的中草药多标签识别 模型 (57)摘要 本发明公开了一种基于图卷积神经网络的 中草药多标签识别模型， 包括图像特征提取器、 节点特征提取器、 特征融合器、 分类器； 构建中草 药多标签数据集， 随机划分测试集和训练集； 采 用卷积神经网络模型构造图像特征提取器， 训练 集图片输入图像特征提取器获取图像特征矩阵； 处理中草药样本数据中标签， 统计训练集标签邻 接矩阵； 提取中草药词向量； 以词向量和邻接矩 阵分别作为图卷积神经网络模型的节点特征和 边的权重， 构造节点特征提取器； 图像特征和节 点特征经特征融合器得到特征融合矩阵， 输入分 类器中得到伪标签， 经反向传播过程不断更新参 数， 训练整个模型， 满足预设停止条件时保存模 型， 测试集图像输入到整个模型中得到最终的多 标签分类结果。 权利要求书1页 说明书5页 附图2页 CN 115457366 A 2022.12.09 CN 115457366 A 1.一种基于 图卷积神经网络的中草药多标签识别模型， 其特征在于， 整个模型包括图 像特征提取器、 节点特 征提取器、 特 征融合器、 分类 器； 具体工作过程如下： 步骤S101： 数据集准备， 构建中草药多标签数据集， 每张图片包含已有中药药方中的所 有中草药， 按一定比例把中草药样本的数据集随机划分测试集和训练集； 步骤S102： 采用卷积神经网络模型构造图像特征提取器， 将训练集中的图片输入到图 像特征提取器中， 通过 卷积层、 池化层和非线性激活层获取图像特 征矩阵； 步骤S103： 采用图卷积神经网络模型构造节点特 征提取器 对中草药样本数据中的标签进行处理， 统计训练集中每种草药之间的数量以及与其他 草药共现的次数， 统计训练集标签邻接矩阵； 根据中草药的名称从word2vec模型提取中草 药词向量； 以词向量作为图卷积神经网络模型 的节点特征， 邻接矩阵作为图卷神经网络模 型边的权 重； 步骤S104： 图像特征和节点特征经特征融合器进行特征融合得到特征融合矩阵， 特征 融合矩阵输入到分类器中得到中草药图像对应的伪标签， 经过反向传播过程不断更新整个 模型参数， 对整个模 型进行训练， 在满足预设停止条件时保存整个模 型， 测试集图像输入到 整个模型中得到最终的多标签分类结果。 2.根据权利要求1所述的基于图卷积神经网络的中草药多标签识别模型， 其特征在于， 所述图像特征提取器用于提取每张多标签中草药图片的图像特征； 所述节点特征提取器用 于提取每种中草药 的词向量以及中草药之间的关联矩阵分别作为图卷积的节点特征和邻 接矩阵， 图卷积神经网络模型根据节点特征和邻接矩阵更新节点特征； 所述特征融合器用 于将图像特征矩阵和节点特征矩阵进 行后端特征的点乘得到特征融合矩阵； 所述分类器用 于将特征融合矩阵输入到激活函数中进行判定， 当预测的结果大于所设定的阈值时， 则判 定为1， 否则判定为0， 最终输出 预测结果。 3.根据权利要求1所述的基于图卷积神经网络的中草药多标签识别模型， 其特征在于， 步骤S101中所述多 标签数据集采 取人工采集和网络搜集的形式； 根据收集到的中草药标签 数据统计标签之间关联， 构造标签邻接矩阵。 4.根据权利要求3所述的基于图卷积神经网络的中草药多标签识别模型， 其特征在于， 采取人工采集中药图片时， 对一个药方中包含的多种中草药进行不同形态的摆放， 对于每 一组药材根据药材 的分布情况拍摄多组照片； 网络搜集中药图片时， 随机 收集含有多种中 草药的图片； 在构建数据集时采用随机划分的方式， 使难易程度不同的图像随机划分为训 练集和测试集。 5.根据权利要求1所述的基于图卷积神经网络的中草药多标签识别模型， 其特征在于， 所述图像特征提取器采用卷积神经网络模型， 包括卷积层、 池化层、 非线性激活层； 所述节 点特征提取器采用图卷积神经网络模型， 包括卷积层、 池化层、 非线性激活层； 所述分类器 包括全连接层、 非线性激活层、 Dropout层。 6.根据权利要求1所述的基于图卷积神经网络的中草药多标签识别模型， 其特征在于， 步骤S104中所述特征融合采用点乘融合或者叉乘融合， 分为前端融合、 中期融合、 后端融 合。权　利　要　求　书 1/1 页 2 CN 115457366 A 2基于图卷积神经 网络的中草药多标签识别模型 技术领域 [0001]本发明涉及计算机视觉技术领域， 更具体 的说， 是涉及一种基于图卷积神经网络 的中草药多标签识别模型。 背景技术 [0002]申请号为CN201910254774.X， 发明名称为： 一种基于注意力机制的金字塔网络的 中草药识别方法。 该发明是首先通过专门设计的图像采集装置对中草药图像进行收集， 并 构建相对应的数据库， 并对训练集和测试集进行预 处理； 然后， 根据图像特征构建基于通道 注意力机制的特征融合结构， 引入竞争注意力模块， 并结合空间注意力对信息流进 行调整， 最后完成中草药的识别。 [0003]该专利虽然引入注意力机制使模型对于不同特征赋予不同的权重， 但是模型仅仅 适用于单个标签的预测， 对于一张图片 中含有多种中草药 的情况并未考虑， 适用范围比较 受限； 此外， 该专利仅注重于视觉特征本身， 却忽视了一些外在的条件， 比如不同中草药之 间的共现和互斥的关系。 因此， 模型的鲁棒性较差， 中草药的图像将在很大程度上决定 分类 的效果。 发明内容 [0004]为了克服现有技术中的不足， 本发明提出了一种基于图卷积神经网络的中草药多 标签识别模型。 从对于含有多种中草药 的图像进行预测， 相比于单一预测一张图片 中的单 个中草药图片， 此发明的适用范围更广泛， 且利用了中草药之 间的内在关联， 不单纯的依靠 视觉模型， 使得模型具有较好的鲁棒性。 本发明方法集特征提取、 特征融合和分类为一体， 是一种端到端的方法。 基于图卷积神经网络的中草药多标签识别的构 造可以直接在现有模 型上做更改， 代码实现简单， 并且可以直接利用预训练好的模型参数， 模型收敛速度快， 大 大减少模型的训练时间。 [0005]本发明的目的是通过以下技 术方案实现的。 [0006]本发明基于图卷积神经网络的中草药多标签识别模型， 整个模型包括图像特征提 取器、 节点特 征提取器、 特 征融合器、 分类 器； 具体工作过程如下： [0007]步骤S101： 数据集准备， 构建中草药多标签数据集， 每张图片包含已有中药药方中 的所有中草药， 按一定比例把中草药样本的数据集随机划分测试集和训练集； [0008]步骤S102： 采用卷积神经网络模型构造图像特征提取器， 将训练集中的图片输入 到图像特 征提取器中， 通过 卷积层、 池化层和非线性激活层获取图像特 征矩阵； [0009]步骤S103： 采用图卷积神经网络模型构造节点特 征提取器 [0010]对中草药样本数据中的标签进行处理， 统计训练集中每种草药之间的数量以及与 其他草药共现的次数， 统计训练集标签邻接矩阵； 根据中草药的名称从word2vec模型提取 中草药词向量； 以词向量作为图卷积神经网络模型 的节点特征， 邻接矩阵作为图卷神经网 络模型边的权 重；说　明　书 1/5 页 3 CN 115457366 A 3