(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210301316.9 (22)申请日 2022.03.24 (71)申请人 电子科技大 学成都学院 地址 610400 四川省成 都市高新区百叶路1 号 (72)发明人 林炜　郭雪　韩思宇　郭强　 李茂毅　 (74)专利代理 机构 成都正德明志知识产权代理 有限公司 513 60 专利代理师 万雪松 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/55(2019.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多通道注意力机制的文本表情包情感 分析方法及系统 (57)摘要 本发明公开了一种基于多通道注意力机制 的文本表情包情感分析方法， 属于情感分析分类 技术领域， 包括如下步骤： 获取表情图片文本数 据集； 构建并训练图像情感特征提取网络、 图像 文本情感特征提取网络和主干文本处理网络； 基 于表情图片文本数据集， 得到表情图片数据集、 图片文本情感数据集和主干文本数据集； 得到若 干组图像情感特征、 图像文本情感特征和主干文 本特征； 将各组图像情感特征、 图像文本情感特 征和主干文本特征拼接后输入分类器进行情感 分类， 得到对应的情感类型分类结果； 本方案解 决了针对当下表情包和文本交替出现或同时出 现的情况难以实现情感正确分类的问题。 权利要求书3页 说明书8页 附图6页 CN 114625908 A 2022.06.14 CN 114625908 A 1.一种基于多通道注意力机制的文本表情包情感分析方法， 其特征在于， 包括如下步 骤： S1、 获取表情图片文本数据集； S2、 分别构建图像情感特征提取网络、 图像文本情感特征提取网络和主干文本处理网 络， 并分别对图像情感特征提取网络、 图像文本情感特征提取网络和主干文本处理网络进 行训练； S3、 基于表情图片文本数据集分别得到表情图片数据集和主干文本数据集， 并将表情 图片文本数据集中各附带表情图片的文本数据聚类分割， 得到图片文本情感数据集； S4、 分别将表情图片数据集和图片文本情感数据集一一对应输入图像情 感特征提取网 络和图像文本情感特征提取网络， 并将主干文本数据集输入主干文本处理网络， 分别得到 若干组图像情感特 征、 图像文本情感特 征和主干文本特 征； S5、 将各组图像情感特征、 图像文本情感特征和主干文本特征拼接后输入分类器进行 情感分类， 得到对应的情感类型分类结果。 2.根据权利要求1所述的基于多通道长短期记忆网络的情感分析方法， 其特征在于， 所 述图像情感特征提取网络包括依次连接的表情图片 输入层、 第一卷积层、 第二卷积层、 第一 池化层、 第一dropout层、 第一展平层、 第一全连接层和图像情感特 征输出层； 所述图像文本情感特征提取网络包括依次连接的图像文本情感输入层、 第三卷积层、 第四卷积层、 第二池化层、 第二dropout层、 第二展平层、 第二全连接层、 第三全连接层和图 像文本情感特 征输出层； 所述主干文本处理网络包括依次连接的第一主干文本输入层、 第五卷积层、 第六卷积 层、 第三池化层、 第三dr opout层、 第三展平层、 第二主干文本输入层、 BiLstm层、 第四全 连接 层、 注意力机制模块、 第五全连接层、 第四展平层、 拼接层和主干文本特 征输出层； 所述第一主干文本输入层、 第五卷积层、 第六卷积层、 第三池化层、 第三dropout层和第 三展平层依次连接， 构成词 性特征提取子系统； 所述第二主干文本输入层、 BiLstm层、 第四 全连接层、 注意力机制模块、 第五全连接层和第四展平层依次连接； 所述第三展平层和第四 展平层均与拼接层连接， 构成时序信息特征提取子系统； 所述拼接层与主干文本特征输出 层连接； 所述词性特 征提取子系统与时序信息特 征提取子系统并行的结构。 3.根据权利要求2所述的基于多通道长短期记忆网络的情感分析方法， 其特征在于， 所 述得到主干文本特 征包括以下步骤： 利用词性特 征提取子系统提取主干文本数据集中各类词的词性； 利用时序信息特 征提取子系统提取主干文本数据集中主干文本的上 下文特征； 通过注意力机制模块对主干文本中的情感词加权， 得到主干文本特 征。 4.根据权利要求3所述的基于多通道长短期记忆网络的情感分析方法， 其特征在于， 所 述得到图片文本情感数据集， 其具体为： 将表情图片文本数据集 通过K‑Means聚类算法进行图像颜色聚类； 对已经图像颜色聚类的表情图片文本数据集进行边 缘分割； 根据边缘分割结构利用sobel 算子提取图像情感， 得到图片文本情感数据集。 5.根据权利要求4所述的基于多通道长短期记忆网络的情感分析方法， 其特征在于， 所权　利　要　求　书 1/3 页 2 CN 114625908 A 2述主干文本数据集输入主干文本处 理网络前包括以下步骤： 将高维词向量嵌入到低维空间； 通过词性标注和拼接， 得到主干文本矩阵X； X＝[xw,xp] 其中， xw表示词嵌入矩阵， xp表示词性矩阵。 6.根据权利要求5所述的基于多通道长短期记忆网络的情感分析方法， 其特征在于， 所 述BiLstm层的计算表达式如下： it＝σ(Wi[ht‑1,xt]+bi) ft＝σ(Wf[ht‑1,xt]+bf) Ot＝σ(Wo[ht‑1,xt]+bo) ht＝Ot⊙tanhCt 其中， it表示t时刻的输入门控， σ 表示激活函数sigmoid， Wi表示输入门控的权重向量， ht‑1表示t‑1时刻的隐层输出， xt表示t时刻的输入， bi表示输入门控的偏置， ft表示t时刻的 遗忘门控， Wf表示遗忘门控的权重向量， bf表示遗忘门控的偏置， 表示t时刻临时记忆单元 状态， tanh表示激活函数tanh， Wc表示输出门控的权重向量， bc表示输出门控的偏置， ct表示 t时刻记忆单元状态， ⊙表示表示向量乘积运算， ct‑1表示t‑1时刻记忆单元状态， Ot表示t时 刻的输出门控， Wo表示该层连接对应的权重， bo表示该层连接对应的偏 置， ht表示t时刻的隐 层输出。 7.根据权利要求6所述的基于多通道长短期记忆网络的情感分析方法， 其特征在于， 所 述注意力机制模块的计算表达式如下： 其中， ai表示选择第i个输入向量xi的注意力分布， z表示注意力变量， q表示查询向量， softmax表示softmax 分类器， s(xi,q)表示打分函数， j表示第j个打分结果exp(s(xi,q))的 指数值， N表示打 分结果的总数， at t(X,q)表示主干文本矩阵X的加权平均值。 8.一种如权利要求1 ‑7所述的基于多通道长短期记忆网络的情感分析方法的系统， 其 特征在于， 包括： 获取模块， 用于获取 具备包括分类标签的表情图片的文本， 构成表情图片文本数据集； 构建及训练模块， 用于构建图像情感特征提取网络、 图像文本情感特征提取网络和主 干文本处理网络， 并对图像情感特征提取网络、 图像文本情感特征提取网络和主干文本处 理网络进行训练； 聚类分割模块， 用于基于表情图片文本数据集将各附带表情图片的文本数据聚类分 割， 得到表情图片数据集、 图片文本情感数据集和主干文本数据集； 特征提取模块， 用于分别将表情图片数据集和图片文本情感数据集对应输入图像情感权　利　要　求　书 2/3 页 3 CN 114625908 A 3