(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211355285.1 (22)申请日 2022.11.01 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 阮玉平　李太豪　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/205(2020.01) G06N 20/00(2019.01) (54)发明名称 一种价值需求特征驱动的文本情感识别、 训 练方法及装置 (57)摘要 本发明公开了一种价值需求特征驱动 的文 本情感识别、 训练方法及装置， 包括价值需求标 注语料采集模块、 价值需求回归模型构建模块、 输入文本 特征提取模块和文本情感预测模块， 通 过采集原始短文本， 并对每条短文本， 基于不同 的维度的价值需求， 进行价值需求标注， 得到价 值需求标注语料集； 于预训练语言模型， 在价值 需求标注语料上进行微调学习， 得到训练好的价 值需求回归模 型； 基于价值回归模 型提取输入文 本的价值需求特征， 基于预训练语 言模型提取输 入文本的语义特征； 基于输入文本的价值需求特 征和语义特征， 进行最终的情感识别。 本发明可 有效提升文本情感识别的精度。 权利要求书3页 说明书9页 附图5页 CN 115496076 A 2022.12.20 CN 115496076 A 1.一种价 值需求特 征驱动的文本情感识别训练方法， 其特 征在于包括如下步骤： 步骤S1： 价值需求标注语料采集； 采集原始短文本， 并对每条短文本， 基于不同的维度 的价值需求， 进行价 值需求标注， 得到价 值需求标注语料集； 步骤S2： 价值需求回归模型构建； 基于预训练语言模型， 在价值需求标注语料上进行微 调学习， 得到训练好的价 值需求回归 模型， 包括如下步骤： 步骤S21： 针对价值需求标注语料集中的短文本 ， 将其对应的字符序列 与预定义 的价值维度特殊字符进行拼接， 得到 字符序列 ， 其中i表示短文本的索引； 步骤S22： 将字符序列 输入到预训练的语言模型中， 并取价值维度特殊字符在语 言模型最后一层编码层输出的编码向量， 作为短文本 在不同维度的价 值特征编码； 步骤S23： 将短文本 的不同维度的价值特征编码向量分别输入到不同的单层全连接网 络中， 并采用激活函数， 得到对应不同价 值维度的标量预测值； 步骤S24： 计算语言模型预测价值与 标注价值之间的误差， 并将其作为微调训练语言模 型的损失函数， 得到训练好的价 值需求回归 模型。 2.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法， 其特征在 于， 所述步骤S1中， 基于马斯洛夫需求层次理论的生理需求、 安全需求、 归属与爱、 尊重需求 和自我实现5个角度， 分别进行多维度的价 值需求标注； 所述步骤S21中， 字符序列 ； 所述步骤S22中， 取价值维度 特殊字符 至 在语言模型最后 一层编码层输出的 编码向量 ， 作为短文本 在生理需求、 安全需求、 归属与爱、 尊重需求和自我 实现5个维度的价 值特征编码； 步骤S23中， 将短文本 的5个维度的价值特征编码向量 分别输入到5个 不同的单层全连接网络中， 并采用激活函数， 得到对应不同价值维度的标量预测值 。 3.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法， 其特征在 于， 所述步骤S1包括如下步骤： 步骤S11： 获取大量短文本语句， 形成原 始短文本语料集； 步骤S12： 利用正则表达式对原始短文本语料集中的每条文本语句进行清洗， 去除干扰 信息； 步骤S13： 过 滤字数范围阈值以外的短语句， 得到最终清洗 干净的短文本语料集： 其中 表示第i条 单条短文本语句， 表示该语料集的大小； 步骤S14： 对干净的短文本语料集 中的每条语句从马斯洛夫需求层次理论的生 理需求、 安全需求、 归属与爱、 尊重需求和自我实现5个角度分别进 行标注， 得到价值需求标 注语料集：权　利　要　求　书 1/3 页 2 CN 115496076 A 2其中 表示5维价值标注向量 ， 每个维度的价值标注向量通过不同取值 区分为文本 与该价值维度是正相关、 文本 与该价值维度无关、 文本 与该价值维度负相 关； 步骤S15： 重复多次步骤S14中的标注过程并取均值， 作为最终短文本语句 的价值需求 标签。 4.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法， 其特征在 于， 所述步骤S23中， 标量预测值的计算公式如下： 其中， 表示一维的标量值， j表示不同价值维度的索引， 和 表示语言模型的权重和 偏置， tanh表示非线性激活函数。 5.根据权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法， 其特征在 于， 所述步骤S24中， 损失函数计算如下： 其中 表示第i条短文本的第j个价值维度的标量预测值， 表示第i条短文本的第j个 价值维度的价 值标注向量。 6.一种基于权利要求1所述的一种价值需求特征驱动的文本情感识别训练方法的文本 情感识别方法， 其特 征在于还 包括如下步骤： 步骤S3： 输入文本特征提取； 基于价值 回归模型提取输入文本的价值需求特征， 基于预 训练语言模型提取输入文本的语义特 征； 步骤S4： 文本情感预测； 基于输入文本的价值需求特征和语义特征， 进行最终的情 感识 别。 7.根据权利要求6所述的基于一种价值需求特征驱动的文本情感识别训练方法的文本 情感识别方法， 其特 征在于， 所述 步骤S3， 包括如下步骤： 步骤S31： 针对输入文本 ， 将其对应的字符序列 与预定义的价值维度特殊字符进 行拼接， 得到 字符序列 ； 步骤S32： 将字符序列 输入到训练好的价值需求回归模型中， 得到输入文本 对 应的价值需求特 征向量 ； 步骤S33： 将输入文本 对应的字符序列 与特殊字符[CLS]拼接起来， 得到字符序列 ；权　利　要　求　书 2/3 页 3 CN 115496076 A 3