(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210416674.4 (22)申请日 2022.04.20 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 舒畅　陈又新　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁国平 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 特定区域的图像描述生成方法、 装置、 设备 及存储介质 (57)摘要 本申请涉及人工智能技术， 提供了一种特定 区域的图像描述生成方法、 装置、 设备及存储介 质， 方法包括： 获取全局图像； 基于预训练的第一 特征提取网络模型对全局图像进行全局特征提 取， 得到全局图像特征图； 基于预训练的第二特 征提取网络模型对全局图像特征图进行局部特 征提取， 得到局部图像特征图； 分别对全局图像 特征图和局部图像特征图进行维度统一提取， 得 到全局图像特征向量和局部图像特征向量； 对全 局图像特征向量和局部图像特征向量进行融合， 得到最终图像特征向量； 基于预训练文本生成网 络模型对最终图像特征向量进行文本生成， 得到 特定区域描述文本， 通过上述技术方案能够提高 特定区域的图像文本描述的准确率。 权利要求书2页 说明书13页 附图5页 CN 114972774 A 2022.08.30 CN 114972774 A 1.一种特定区域的图像描述 生成方法， 其特 征在于， 所述方法包括： 获取全局图像； 基于预训练的第 一特征提取网络模型对所述全局图像进行全局特征提取， 得到全局图 像特征图； 基于预训练的第 二特征提取网络模型对所述全局图像特征图进行局部特征提取， 得到 局部图像特 征图； 分别对所述全局图像特征图和所述局部图像特征图进行维度统一提取， 得到对应所述 全局图像特 征图的全局图像特 征向量和对应所述局部图像特 征图的局部图像特 征向量； 对所述全局图像特征向量和所述局部图像特征向量进行融合， 得到最终图像特征向 量； 基于预训练的文本生成网络模型对所述最终图像特征向量进行文本生成， 得到特定区 域描述文本 。 2.根据权利要求1所述的特定区域的图像描述生成方法， 其特征在于， 所述基于预训练 的第二特征提取网络模型对所述全局图像特征图进行局部特征提取， 得到局部图像特征 图， 包括： 基于预训练的第 二特征提取网络模型对所述全局图像特征图进行选择性搜索， 得到至 少一个候选 框图； 对各个所述候选框图分别进行第 一特征提取， 得到各个所述候选框图对应的候选特征 图； 基于所述 候选特征图对所述 候选框图进行回归调整， 得到精确候选 框图； 基于预训练的第 二特征提取网络模型对所述精确候选框图进行第 二特征提取， 得到所 述局部图像特 征图。 3.根据权利要求1所述的特定区域的图像描述生成方法， 其特征在于， 所述分别对所述 全局图像特征图和所述局部图像特征图进 行维度统一提取， 得到对应所述全局图像特征图 的全局图像特 征向量和对应所述局部图像特 征的局部图像特 征向量， 包括： 对所述全局图像特 征图和所述局部图像特 征图进行映射处 理， 得到映射特 征图谱； 基于所述映射特征图谱， 分别对所述全局图像特征图和所述局部图像特征图进行最大 池化操作得到对应所述全局图像特征图的全局图像特征向量和对应所述局部图像特征的 局部图像特 征向量。 4.根据权利要求1所述的特定区域的图像描述生成方法， 其特征在于， 所述文本生成网 络模型包括注意力网络模型和长短期记忆网络模型， 所述基于预训练的文本生成网络模型 对所述最终图像特 征向量进行文本生成， 得到特定区域描述文本， 包括： 基于所述注意力网络模型对所述全局图像特征向量和所述局部图像特征向量进行计 算， 得到当前文本状态信息； 以及基于所述长短期记忆网络模型对所述最终 图像特征向量 进行计算， 得到初始文本信息； 基于所述长短期记忆网络模型对所述当前文本状态信息和所述初始文本信息进行计 算， 得到当前文本信息； 基于所述长短期记忆网络模型对所述当前文本信 息进行文本生成， 得到所述特定区域 描述文本 。权　利　要　求　书 1/2 页 2 CN 114972774 A 25.根据权利要求4所述的特定区域的图像描述生成方法， 其特征在于， 所述基于所述长 短期记忆网络模型对所述当前文本信息进行文本生成， 得到所述特定区域描述文本之后， 所述方法还 包括： 基于所述注意力网络模型对新的所述全局图像特征向量和新的所述局部图像特征向 量进行计算， 得到新的所述当前文本状态信息； 基于所述长短期记忆网络模型对新的所述当前文本状态信息和前一时刻得到的所述 当前文本信息进行计算， 得到新的所述当前文本信息； 基于所述长短期记忆网络模型对新的所述当前文本信 息进行文本生成， 得到新的所述 特定区域描述文本 。 6.根据权利要求1所述的特定区域的图像描述生成方法， 其特征在于， 所述对所述全局 图像特征向量和所述局部图像特 征向量进行融合， 得到最终图像特 征向量， 包括： 基于权重 融合函数对所述全局图像特征向量和所述局部图像特征向量进行融合， 得到 所述最终图像特 征向量。 7.根据权利要求3所述的特定区域的图像描述生成方法， 其特征在于， 所述对所述全局 图像特征图和所述局部图像特 征图进行映射处 理， 得到映射特 征图谱， 包括： 基于双线性插值算法对所述全局图像特征图和所述局部图像特征图进行映射处理， 得 到映射特 征图谱。 8.一种特定区域的图像描述 生成装置， 其特 征在于， 所述装置包括： 第一处理模块， 用于获取全局图像； 第二处理模块， 用于基于预训练的第 一特征提取网络模型对所述全局图像进行全局特 征提取， 得到全局图像特 征图； 第三处理模块， 用于基于预训练的第 二特征提取网络模型对所述全局图像特征图进行 局部特征提取， 得到局部图像特 征图； 第四处理模块， 用于分别对所述全局图像特征图和所述局部图像特征图进行维度统一 提取， 得到对应所述全局图像特征图的全局图像特征向量和对应所述局部图像特征图的局 部图像特 征向量； 第五处理模块， 用于对所述全局图像特征向量和所述局部 图像特征向量进行融合， 得 到最终图像特 征向量； 第六处理模块， 用于基于预训练的文本生成网络模型对所述最终图像特征向量进行文 本生成， 得到特定区域描述文本 。 9.一种电子设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项 所述的特定区域的图像描述 生成方法。 10.一种计算机可读存储介质， 存储有计算机可执行指令， 所述计算机可执行指令用于 执行权利要求1至7中任意 一项所述的特定区域的图像描述 生成方法。权　利　要　求　书 2/2 页 3 CN 114972774 A 3