(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137035.0 (22)申请日 2022.09.19 (71)申请人 陕西师范大学 地址 710062 陕西省西安市长安 南路199号 (72)发明人 吴晓军　刘艺薇　张玉梅　 (74)专利代理 机构 西安永生专利代理有限责任 公司 61201 专利代理师 申忠才 (51)Int.Cl. G06F 40/242(2020.01) G06F 40/295(2020.01) G06N 3/04(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于改进的注意力机制网络五言绝句生成 方法 (57)摘要 一种基于改进的注意力机制网络五言绝句 生成方法， 由生成图像数据集和诗词数据集、 构 建VGG16图片标签网络、 训练VGG16图片标签网 络、 提取图像关键标签、 扩展诗词数据集、 诗词数 据预处理、 建立关键词对应词典、 构建改进的注 意力机制网络、 训练改进的注意力机制网络、 生 成五言绝句步骤组成。 用户输入图片进行分类后 的实体标签， 增强了与图片的关联性， 增加了整 首古诗意境上的概括性与完整性。 通过VGG16网 络建立图像特征提取模型以及基于注意力机制 改进的编码解码作诗模型融合， 实现将图像转换 成五言绝句。 本发明具有转换准确、 转换速度快、 转换完整等优点， 可用于将图像转换成五言绝 句。 权利要求书2页 说明书7页 附图2页 CN 115545014 A 2022.12.30 CN 115545014 A 1.一种基于改进的注意力机制网络五言绝句生成方法， 其特 征在于由下述 步骤组成： (1)生成图像数据集和诗词数据集 从CIFAR‑100图像数据集中选取图像， 按5:1分为训练集和测试集， 将CIFAR ‑100图像数 据集中的100个类分成10个超类， 每个图像都带有一个所属类别标签和一个所属的超类标 签； 从中华古典文集数据库中挑选15000首唐诗与宋诗的五言绝句， 作为五言绝句诗词数 据库； (2)构建VG G16图片标签网络 VGG16图片标签网络由第一模块与第二模块、 第三模块、 前第四模块、 后第四模块、 全局 平均池化层、 Softmax分类层d1依次串联构成； 所述的第一模块由64通道串联的2个卷积层与1个池化层串联构成； 第二模块由128通 道串联的2个卷积层与 1个池化层串联构成； 第三模块由256通道串联的3个卷积层与 1个池 化层串联构成； 前第四模块由512 通道串联的3个卷积层与1个池化层 串联构成； 后第四模块 由512通道串联的3个卷积层与1个池化层串联构成； (3)训练VG G16图片标签网络 将训练集输入到VGG16图片标签网络进行训练， 批量大小为128， 线性整流层作为激活 函数层， 学习率定为0.1， 采用交叉熵损失函数H(p,q)对VGG16图片标签网络进行训练， 训练 至损失函数收敛： 其中n表示分类 个数， n为有限的正整数， p(xi)表示正确答案， q(xi)表示预测值； (4)提取图像关键标签 将测试集输入到训练好的VGG16图片标签网络进行测试， 提取卷积特征， 输出层采用 Softmax分类层d1， 通过Softmax分类层d1将测试集中图像分为10个类别的概率， 其中概率 最大的类别作为输出类别， 得到图像关键标签； (5)扩展诗词数据集 1) 从民 族民 间 文 化 资 源 数 据 库 中 获 取 诗 词 ， 数 据 库 网 址 为 h t t p : / / 51cst.sn nu.edu.cn/； 2)将民族民间文化资源数据库的诗词添加到五言绝句诗词数据库中； (6)诗词数据预处 理 1)将五言绝句诗词数据库中的繁体字转换为简体字； 2)删除五言绝句诗词数据库中的生僻字； 3)删除五言绝句诗词数据库的标题中含有非中文的诗词； (7)建立关键词对应词典 建立100个图片标签所对应的超类别关键词[l1,l2,...,l10]的对应汉字字典， 其中l1 表示[江， 湖， 海,水， 鱼]， l2表示[春， 花， 秋， 落]， l3表示[杯， 盘]， l4表示[子， 郎]， l5表示 [金， 盘]， l6表示[ 飞， 高]， l7表示[山， 野， 峰]， l8表示[楼， 高， 阁]， l9表示[树， 林， 枝]， l10 表示[车， 路， 马]， 建立了关键词对应词典；权　利　要　求　书 1/2 页 2 CN 115545014 A 2(8)构建改进的注意力机制网络 改进注意力机制的古诗生成网络由编码器和解码器串联构成， 编码器由1层长短期记 忆层b1构成， 解码器由长短期记忆层b2与长短期记忆层b3、 Softmax分类层d2依次串联构 成， 长短期记 忆层b2与长短期记 忆层b3的结构相同； (9)训练改进的注意力机制网络 采用TextRan k方法的W ord2vec模型按下式确定节点Vi的得分WS(Vi)： 式中， Wji表示节点Vi和节点Vj边的权重， In(Vi)表示进入节点i的节点集合， Out(Vj)表 示离开节点j的节点集合， 节点Vi的得分WS(Vi)的初始值为[0.5,2]， d表示阻尼因子， d取值 为[0.8,1]， 选取 得分最高的词作为整句的关键词； 用收集到的五言绝句诗词数据库作为语料库训练词向量模型Word2vec， 词向量维度T 取256， 迭代次数为50次， 即输入1个关键词时， 得到词的1个向量空间wi和向量空间wj， 按下 式确定向量间相似度simi(wi,wj)， 由相似度的大小判断与关键词语义最接近的系列词， 并 按照顺序提取概 率最大的前3个关键词集 合{C1,C2,...,Cj}： 编码器将关键词集合{C1,C2,...,Cj}通过长短期记忆网络编码成隐层状态集合{h1, h2,...,hj}， j为有限的正整数， Cj为第j个编码向量； 编码器用隐层状态生成输出序列{y1, y2,...,yj}， 按下式确定 输出向量yj： yj＝argmaxP(y|yj‑1,sj,cj) sj＝f(sj‑1,yj‑1,cj) 式中， yj‑1为上一时刻的输入， sj‑1为上一时刻的状态， sj为当前时刻的状态， cj是所有输 入序列的隐层状态； (10)生成五言绝句 将测试集输入到训练好的VGG16图片标签网络中， 得到关键字， 将关键字输入到古诗生 成网络中， 生成五言绝句。 2.根据权利要求1所述的基于改进的注意力 机制网络五言绝句生成方法， 其特征在于： 在(2)步骤中， 所述的卷积层的卷积核为3 ×3， 步长为1； 所述的池化层的滤波器为2 ×2， 步 长为2； 所述的全局平均池化层通道数为512。 3.根据权利要求1所述的基于改进的注意力机制网络五言绝句生成方法， 其特征在于 在(6)步骤中， 所述的繁体字转换为简 体字的方法为： 使用简 繁转换词 库对全部诗句进 行简 繁转换操作； 所述删除五言绝句诗词 数据库的标题中含有非中文的诗词的方法为： 使用正 则表达方法对标题中含有空白、 句号、 特殊符号、 标题不 规范的诗句删除。 4.根据权利要求1所述的基于改进的注意力 机制网络五言绝句生成方法， 其特征在于： 在(8)步骤中， 所述的长短期记忆层b1输出空间维数为4， 长短期记忆层b2、 长短期记忆层b3 输出空间维数为20 。权　利　要　求　书 2/2 页 3 CN 115545014 A 3