(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210970443.8 (22)申请日 2022.08.12 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 蒋艺荃　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 王辉 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06F 40/30(2020.01)G06F 40/216(2020.01) G06F 16/35(2019.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 物品识别方法及装置、 电子 设备、 介质 (57)摘要 本公开实施例是关于一种模 型训练方法、 物 品识别方法及装置、 电子设备、 计算机可读存储 介质， 涉及计算机技术领域， 该方法包括： 获取样 本物品的样 本文本信息以及样 本图像信息； 基于 所述样本文本信息以及样本图像信息对识别模 型中的自监督模型进行预训练， 获取先验结果； 通过所述识别模 型中的嵌入模型， 结合所述先验 结果以及样本文本信息获取参考多模态表征向 量； 基于所述参考多模态表征向量确定目标损失 函数， 并基于所述目标损失函数对 所述识别模型 的模型参数进行调整， 以训练识别模型。 本公开 能够提高模型训练的准确性。 权利要求书2页 说明书13页 附图5页 CN 115310547 A 2022.11.08 CN 115310547 A 1.一种模型训练方法， 其特 征在于， 包括： 获取样本物品的样本文本信息以及样本图像信息； 基于所述样本文本信 息以及样本图像信 息对识别模型中的自监督模型进行预训练， 获 取先验结果； 通过所述识别模型中的嵌入模型， 结合所述先验结果以及样本文本信 息获取参考多模 态表征向量； 基于所述参考多模态表征向量确定目标损失函数， 并基于所述目标损失函数对所述识 别模型的模型参数进行调整， 以训练识别模型。 2.根据权利要求1所述的模型训练方法， 其特征在于， 所述基于所述样本文本信 息以及 样本图像信息对识别模型中的自监 督模型进行 预训练， 获取 先验结果， 包括： 对所述样本物品的图像特征向量以及文本特征向量进行聚类确定聚类簇， 并确定聚类 簇中目标 单词的先验注意力。 3.根据权利要求2所述的模型训练方法， 其特征在于， 所述确定聚类簇中目标单词的先 验注意力， 包括： 根据目标单词在聚类簇中的出现频率， 以及， 聚类簇的总数量与包含所述目标单词的 聚类簇的数量对应的逆向簇频率， 确定所述先验注意力。 4.根据权利要求1所述的模型训练方法， 其特征在于， 所述结合所述先验结果以及样本 文本信息获取参 考多模态 表征向量， 包括： 获取样本文本信息的隐藏状态 矩阵， 并对隐藏状态 矩阵进行变换获取注意力向量； 基于先验注意力对所述注意力向量进行正则化， 并根据注意力正则化项与隐藏状态矩 阵获取参 考多模态 表征向量。 5.根据权利要求4所述的模型训练方法， 其特征在于， 所述基于先验注意力对所述注意 力向量进行正则化， 包括： 确定注意力向量的每 个权重值在所述注意力向量中排名第一的概 率； 获取先验注意力的每 个权重值在所述先验注意力中排名第一的概 率； 通过所述注意力向量和所述先验注意力的排名第 一的概率的交叉熵， 对所述注意力向 量进行正则化以获取注意力正则化项。 6.根据权利要求4所述的模型训练方法， 其特征在于， 所述根据注意力正则化项与隐藏 状态矩阵获取参 考多模态 表征向量， 包括： 将所述注意力正则化项和隐藏状态矩阵进行乘法操作， 获取所述样本文本信 息的参考 多模态表征向量。 7.根据权利要求1所述的模型训练方法， 其特征在于， 所述基于所述参考多模态表征向 量确定损失函数， 包括： 根据所述参考多模态表征向量确定文本重建损失， 并根据 所述参考多模态表征向量确 定图像特 征预测损失； 结合所述文本重建损失、 所述图像特征预测损失以及注意力正则化项确定所述目标损 失函数。 8.一种物品识别方法， 其特 征在于， 包括： 获取待处 理物品的文本信息；权　利　要　求　书 1/2 页 2 CN 115310547 A 2根据识别模型对所述文本信息进行特征提取， 获取所述待处理物品的多模态表征向 量； 所述识别模型根据权利要求1 ‑7中任意一项所述的模型训练方法训练得到； 基于所述多模态 表征向量对待处 理物品进行目标操作， 以确定识别结果。 9.一种模型训练装置， 其特 征在于， 包括： 信息获取模块， 用于获取样本物品的样本文本信息以及样本图像信息； 预训练模块， 用于基于所述样本文本信 息以及样本图像信 息对识别模型中的自监督模 型进行预训练， 获取 先验结果； 多模态表征模块， 用于通过所述识别模型中的嵌入模型， 结合所述先验结果以及样本 文本信息获取参 考多模态 表征向量； 训练模块， 用于基于所述参考多模态表征向量确定目标损 失函数， 并基于所述目标损 失函数对所述识别模型的模型参数进行调整， 以训练识别模型。 10.一种物品识别装置， 其特 征在于， 包括： 文本信息获取模块， 用于获取待处 理物品的文本信息； 多模态表征获取模块， 用于根据识别模型对所述文本信息进行特征提取， 获取所述待 处理物品的多模态表征向量； 所述识别模型根据权利要求1 ‑7中任意一项所述的模型训练 方法训练得到； 目标操作模块， 用于基于所述多模态表征向量对待处理物品进行目标操作， 以确定识 别结果。 11.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述 的方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115310547 A 3