(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211160689.5 (22)申请日 2022.09.22 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 邓桂林　徐路　谢东霖　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 王辉 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 40/30(2020.01)G06Q 30/06(2012.01) (54)发明名称 物品分类模 型训练方法及物品分类方法、 装 置及介质 (57)摘要 本公开涉及计算机技术领域， 具体涉及一种 物品分类模型训练、 物品分类方法、 物品分类模 型训练装置、 物品分类装置、 计算机可读存储介 质及电子设备， 包括： 获取视频样本数据； 获取各 文本的特征向量以及各文本的语义信息； 确定视 频样本数据对应的文本特征向量； 将图像特征向 量与文本特征向量进行融合得到视频样本数据 对应的第一融合特征向量； 根据视频样本数据对 应的第一融合特征向量得到预测物品类别， 根据 物品类别标签与预测物品类别对待训练模型的 神经网络参数进行更新。 通过本公开实施例的技 术方案， 可以解决现有技术中分类不准确的问 题。 权利要求书3页 说明书23页 附图7页 CN 115482490 A 2022.12.16 CN 115482490 A 1.一种物品分类模型训练方法， 其特 征在于， 所述方法包括： 获取视频样本数据； 其中， 所述视频样本数据包括文本数据、 图像数据以及物品类别标 签， 所述文本数据包括描述文本、 语音 文本以及图像文本； 将所述视频样本数据输入待训练模型， 获取所述描述文本的特征向量以及所述描述文 本的第一语义信息， 获取所述语音文本的特征向量以及所述语音文本的第二语义信息， 获 取所述图像文本的特 征向量以及所述图像文本的第三语义信息； 根据所述描述文本的特征向量以及所述描述文本的第 一语义信 息、 所述语音文本的特 征向量以及所述语音文本的第二语义信息、 所述图像文本的特征向量以及所述图像文本的 第三语义信息， 确定所述视频样本数据对应的文本特 征向量； 根据所述视频样本数据中的图像数据获取所述视频样本数据对应的图像特征向量， 将 所述图像特征向量与所述文本特征向量进行融合得到所述视频样本数据对应的第一融合 特征向量； 根据所述视频样本数据对应的第 一融合特征向量得到预测物品类别， 根据所述物品类 别标签与所述预测物品类别对所述待训练模型的神经网络参数进 行更新， 以得到物品分类 模型。 2.根据权利要求1所述的方法， 其特征在于， 根据 所述描述文本的特征向量以及所述描 述文本的第一语义信息， 获取所述语音文本的特征向量以及所述语音文本的第二语义信 息， 获取所述图像文本的特征向量以及所述图像文本的第三语义信息确定所述视频样本数 据对应的文本特 征向量， 包括： 根据所述第一语义信息对应的第一权重、 第二语义信息对应的第二权重、 第三语义信 息对应的第三权重， 将所述第一语义信息、 第二语义信息以及所述第三语义信息合并为整 体语义信息； 根据所述整体语义信息以及所述描述文本的特征向量、 所述语音文本的特征向量、 所 述图像文本的特 征向量确定所述视频样本数据对应的文本特 征向量。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述物品类别标签与 所述预测物 品类别对所述待训练模型的神经网络参数进行 更新， 包括： 根据所述物品类别标签与所述预测物品类别， 确定所述待训练模型的第一损失函数； 根据所述待训练模型的第一损失函数对所述待训练模型的神经网络参数进行 更新。 4.根据权利要求3所述的方法， 其特征在于， 所述第一损 失函数为非对称损 失函数； 其 中， 所述视频样本数据包括正样本与负样本， 所述非对称损失函数中针对负样本的指数系 数大于正样本的指数系数， 在所述负样本对应的预测物品类别的预测概率小于预设阈值 时， 剔除所述负 样本。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述待训练模型的第 一损失函数 对所述待训练模型的神经网络参数进行 更新， 包括： 将所述视频样本数据输入动量模型； 其中， 根据所述待训练模型训练过程中的神经网 络参数的变化滑动更新所述动量模型的神经网络参数； 获取所述描述文本的动 量特征向量以及所述描述文本的第四语义信 息， 获取所述语音 文本的动量特征向量以及所述语音文本的第五语义信息， 获取所述图像文本的动量特征向 量以及所述图像文本的第六语义信息；权　利　要　求　书 1/3 页 2 CN 115482490 A 2根据所述描述文本的动 量特征向量以及所述描述文本的第四语义信 息、 所述语音文本 的动量特征向量以及所述语音文本的第五语义信息、 所述图像文本的动量特征向量以及所 述图像文本的第六语义信息， 确定所述视频样本数据对应的动量文本特 征向量； 获取所述视频样本数据对应的动 量图像特征向量， 将所述动 量图像特征向量与所述动 量文本特 征向量进行融合得到所述视频样本数据对应的第二融合特 征向量； 根据所述视频样本数据的第二融合特 征向量确定所述待训练模型的第二损失函数； 根据所述待训练模型的第一损失函数以及所述待训练模型的第二损失函数确定整体 损失函数， 通过所述整体损失函数对所述待训练模型 的神经网络参数进行更新， 以得到物 品分类模型。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述视频样本数据的第 二融合特 征向量确定所述待训练模型的第二损失函数， 包括： 根据所述视频样本数据的第二融合特 征向量得到物品类别 伪标签； 根据所述物品类别伪标签与所述预测物品类别， 确定所述待训练模型的第二损失函 数。 7.根据权利要求6所述的方法， 其特征在于， 所述第二损 失函数为非对称损 失函数； 其 中， 所述视频样本数据中包括正样本与负样本， 所述非对称损失函数中针对负样本的指数 系数大于正样本的指数系数， 在所述负样本对应的预测物品类别的预测概率小于负样本对 应的物品类别伪标签的预测 概率时， 剔除所述负样本， 在所述正样本对应的预测物品类别 的预测概 率大于正样本对应的物品类别 伪标签的预测概 率时， 剔除所述 正样本。 8.一种物品分类方法， 其特 征在于， 所述方法包括： 获取视频数据； 其中， 所述视频数据包括文本数据以及图像数据， 所述文本数据包括描 述文本、 语音 文本以及图像文本； 将所述视频数据输入物品分类模型得到物品类别； 其中， 所述物品分类模型是通过如 权利要求1 ‑7中任意一项所述的物品分类模型训练得到的。 9.一种物品分类模型训练装置， 其特 征在于， 包括： 样本数据获取单元， 被配置为执行获取视频样本数据； 其中， 所述视频样本数据包括文 本数据、 图像数据以及物品类别标签， 所述文本数据包括描述文本、 语音文本以及图像文 本； 语义信息获取单元， 被配置为执行将所述视频样本数据输入待训练模型， 获取所述描 述文本的特征向量以及所述描述文本的第一语义信息， 获取所述语音文本的特征向量以及 所述语音文本的第二语义信息， 获取所述图像文本的特征向量以及所述图像文本的第三语 义信息； 文本特征获取单元， 被配置为执行根据所述描述文本的特征向量以及所述描述文本的 第一语义信息、 所述语音文本的特征向量以及所述语音文本的第二语义信息、 所述图像文 本的特征向量以及所述图像文本的第三语义信息， 确定所述视频样本数据对应的文本特征 向量； 特征融合单元， 被配置为执行根据 所述视频样本数据中的图像数据获取所述视频样本 数据对应的图像特征向量， 将所述图像特征向量与所述文本特征向量进 行融合得到所述视 频样本数据对应的第一融合特 征向量；权　利　要　求　书 2/3 页 3 CN 115482490 A 3