(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210112774.8 (22)申请日 2022.01.29 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 宋奕兵　葛崇剑　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 崔晓岚　蒋雅洁 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/44(2022.01)G06V 10/62(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于分类模 型的视频分类方法、 装置、 设备、 介质及产品 (57)摘要 本申请提供了一种基于分类模型的视频分 类方法， 包括： 通过分类模型的主特征提取网络， 对待分类视频进行第一特征提取， 得到融合有待 分类视频的空间特征及待分类视频的时间特征 的全局时空特征； 然后， 通过副特征提取网络， 对 待分类视频进行第二特征提取， 得到融合有待分 类视频的时间特征、 及待分类视频在至少两个空 间维度的空间子特征的局部时空特征； 接着， 通 过特征融合层， 对全局时空特征以及局部时空特 征进行特征融合， 得到待分类视频的目标时空特 征； 最后， 通过视频分类层， 基于目标时空特征对 待分类视频进行视频分类， 得到待分类视频所归 属的视频类别。 通过本申请， 能够提高针对视频 内容理解的精确度， 从而完成不同场景下的视频 分类任务。 权利要求书5页 说明书22页 附图16页 CN 114529761 A 2022.05.24 CN 114529761 A 1.一种基于分类模型的视频分类方法， 其特征在于， 所述分类模型包括： 主特征提取网 络、 副特征提取网络、 特 征融合层 及视频分类层， 所述方法包括： 通过所述主特征提取网络， 对待分类视频进行第一特征提取， 得到所述待分类视频的 全局时空特征， 所述全局时空特征融合有 所述待分类视频的空间特征及所述待分类视频的 时间特征； 通过所述副特征提取网络， 对所述待分类视频进行第二特征提取， 得到所述待分类视 频的局部时空特征， 所述局部时空特征融合有所述待分类视频的时间特征、 及所述待分类 视频在至少两个空间维度的空间子特 征； 通过所述特征融合层， 对所述全局时空特征以及所述局部时空特征进行特征融合， 得 到所述待分类视频的目标时空特 征； 通过所述视频分类层， 基于所述目标时空特征对所述待分类视频进行视频分类， 得到 所述待分类视频 所归属的视频类别。 2.如权利要求1所述的方法， 其特征在于， 所述主特征提取网络包括主空间特征提取 层、 主时间特征提取层以及主 特征融合层， 所述通过所述主 特征提取网络， 对待分类视频进 行第一特 征提取， 得到所述待分类视频的全局时空特 征， 包括： 通过所述主空间特征提取层， 对所述待分类视频进行空间特征提取， 得到所述待分类 视频的空间特 征； 通过所述主时间特征提取层， 对所述待分类视频进行时间特征提取， 得到所述待分类 视频的时间特 征； 通过所述主特征融合层， 对所述空间特征以及所述时间特征进行特征融合， 得到所述 待分类视频的全局时空特 征。 3.如权利要求1所述的方法， 其特征在于， 所述主特征提取网络包括主空间特征提取 层、 主时间特征提取层以及主 特征融合层， 所述通过所述主 特征提取网络， 对待分类视频进 行第一特 征提取， 得到所述待分类视频的全局时空特 征， 包括： 通过所述主空间特征提取层， 对所述待分类视频进行空间特征提取， 得到所述待分类 视频的空间特 征； 通过所述主时间特征提取层， 对所述空间特征进行时间特征提取， 得到所述待分类视 频的时间特 征； 其中， 所述时间特 征携带所述待分类视频的空间特 征； 通过所述主特征融合层， 对携带所述空间特征的所述 时间特征及所述空间特征进行特 征融合， 得到所述待分类视频的全局时空特 征。 4.如权利要求2或3所述的方法， 其特征在于， 所述通过所述主空间特征提取层， 对所述 待分类视频进行空间特 征提取， 得到所述待分类视频的空间特 征， 包括： 通过所述主空间特征提取层， 对所述待分类视频进行至少两个空间维度的空间特征提 取， 得到所述待分类视频在至少两个空间维度的第一空间子特 征； 对所述待分类视频在至少两个空间维度的第 一空间子特征进行特征融合， 得到所述待 分类视频的空间特 征。 5.如权利要求4所述的方法， 其特征在于， 所述对所述待分类视频在至少两个空间维度 的第一空间子特 征进行特征融合， 得到所述待分类视频的空间特 征， 包括： 获取各所述第一空间子特 征的第一权 重；权　利　要　求　书 1/5 页 2 CN 114529761 A 2基于所述第一权重， 对各所述第一空间子特征进行加权融合， 得到所述待分类视频的 空间特征。 6.如权利要求1所述的方法， 其特征在于， 所述副特征提取网络包括副空间特征提取 层、 副时间特征提取层以及副特征融合层， 所述通过所述副特征提取网络， 对所述待分类视 频进行第二特 征提取， 得到所述待分类视频的局部时空特 征， 包括： 通过所述副空间特征提取层， 对所述待分类视频进行所述至少两个空间维度的空间特 征提取， 得到所述待分类视频在各 所述空间维度的第二空间子特 征； 通过所述副时间特征提取层， 对所述待分类视频进行时间特征提取， 得到所述待分类 视频的时间特 征； 通过所述副特征融合层， 将各所述第二空间子特征分别与所述时间特征进行特征融 合， 得到各所述第二空间子特征对应的时空融合特征， 并对各所述第二空间子特征对应的 时空融合特 征进行融合， 得到所述待分类视频的局部时空特 征。 7.如权利要求6所述的方法， 其特征在于， 所述对各所述第 二空间子特征对应的时空融 合特征进行融合， 得到所述待分类视频的局部时空特 征， 包括： 获取各所述第二空间子特 征的第二权 重； 基于所述第二权重， 对各所述第二空间子特征对应的时空融合特征进行加权融合， 得 到所述待分类视频的局部时空特 征。 8.如权利要求1所述的方法， 其特征在于， 所述副特征提取网络包括副空间特征提取 层、 副时间特征提取层以及副特征融合层， 所述至少两个空间维度包括通道维度； 所述通过 所述副特征提取网络， 对所述待分类视频进行第二特征提取， 得到所述待分类视频 的局部 时空特征， 包括： 通过所述副空间特征提取层， 对所述待分类视频进行所述至少两个空间维度的空间特 征提取， 得到所述待分类视频在所述通道维度的通道特征、 以及所述待分类视频在其它空 间维度的第三空间子特 征； 通过所述副时间特征提取层， 对所述待分类视频进行时间特征提取， 得到所述待分类 视频的时间特 征； 通过所述副特征融合层， 将各所述第三空间子特征分别与所述时间特征进行特征融 合， 得到各所述第三空间子特征对应的时空融合特征， 并对所述通道特征及各所述第三空 间子特征对应的时空融合特 征进行融合， 得到所述待分类视频的局部时空特 征。 9.如权利要求8所述的方法， 其特征在于， 所述对所述通道特征及各所述第 三空间子特 征对应的时空融合特 征进行融合， 得到所述待分类视频的局部时空特 征， 包括： 对所述通道特征及各所述第 三空间子特征对应的时空融合特征进行融合， 得到 中间时 空特征； 对所述中间时空特征及所述待分类视频在所述至少两个空间维度的空间子特征进行 融合， 得到所述待分类视频的局部时空特 征。 10.如权利要求8所述的方法， 其特征在于， 所述对所述通道特征及各所述第三空间子 特征对应的时空融合特 征进行融合， 得到所述待分类视频的局部时空特 征， 包括： 获取所述通道特征的权重及各所述第三空间子特 征的权重； 基于所述通道特征的权重及各所述第 三空间子特征的权重， 对所述通道特征及各所述权　利　要　求　书 2/5 页 3 CN 114529761 A 3