(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210579164.9 (22)申请日 2022.05.25 (71)申请人 北京明略昭辉科技有限公司 地址 100098 北京市海淀区北三环西路25 号27号楼二层2020室 (72)发明人 朱彦浩　胡郡郡　唐大闰　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 曾军 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 视频处理方法、 装置、 电子设备及存 储介质 (57)摘要 本发明提供了一种视频处理方法、 装置、 电 子设备及存储介质， 该方法包括： 获取目标视频； 每隔预设时间对目标视频进行抽帧， 得到多个视 频帧； 通过对每个视频帧进行特征提取， 得到多 个视频帧特征， 以及按照多个视频帧对应的时序 提取目标视频中的音频数据对应的多个音频频 谱特征； 通过对每一预设时间对应的视频帧特征 和音频频谱特征进行融合学习， 生成目标视频在 每个预设时间处对应的场景语义特征； 根据场景 语义特征对目标视频进行场景分割。 本发明通过 融合学习目标视频的视频帧特征和音频频谱特 征， 更加精细地掌握目标视频的场景语义特征， 根据场景语义特征对视频进行场景分割， 提高了 目标视频场景分割的准确率。 权利要求书2页 说明书8页 附图3页 CN 114973086 A 2022.08.30 CN 114973086 A 1.一种视频处 理方法， 其特 征在于， 所述方法包括： 获取目标视频， 其中， 所述目标视频为待 进行场景分割的短视频； 每隔预设时间对所述目标视频进行抽帧， 得到多个视频帧； 通过对每个视频帧进行特征提取， 得到多个视频帧特征， 以及按照所述多个视频帧对 应的时序提取 所述目标视频中的音频 数据对应的多个音频 频谱特征； 通过对每一预设时间对应的视频帧特征和音频频谱特征进行融合学习， 生成所述目标 视频在每 个预设时间处对应的场景语义特 征； 根据所述场景语义特 征对所述目标视频进行场景分割。 2.根据权利要求1所述的方法， 其特征在于， 所述按照所述多个视频帧对应的时序提取 所述目标视频中的音频 数据对应的多个音频 频谱特征包括： 抽取所述目标视频中的音频 数据， 并将所述音频 数据转换成音频 频谱图； 按照所述多个视频帧对应的时序， 对所述音频频谱图进行切分， 得到与所述视频帧的 数量相同的多个音频 频谱序列； 通过对每个音频频谱序列进行特征提取， 得到与 所述视频帧的数量相同的多个音频频 谱特征。 3.根据权利要求1所述的方法， 其特征在于， 所述通过对每一预设时间对应的视频帧特 征和音频频谱特征进 行融合学习， 生成所述目标视频在每个预设时间处对应的场景语义特 征， 包括： 通过以下 方式生成所述目标视频在每 个预设时间处对应的场景语义特 征： 针对多个预设时间中的任一目标预设时间， 将所述目标预设时间对应的目标视频帧特 征和目标音频 频谱特征进行关联， 得到关联 特征； 通过将所述关联特征输入SE模块进行学习， 生成所述目标视频在所述目标预设时间处 对应的场景语义特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述通过将所述关联特征输入SE模块进行 学习， 生成所述目标视频在所述目标 预设时间处对应的场景语义特 征包括： 通过所述SE模块学习所述目标视频帧特征对应的第 一通道对应的第 一全局空间特征、 所述目标音频频谱特征对应的第二通道的第二全局空间特征以及所述第一通道与所述第 二通道间的依赖程度； 根据所述第 一全局空间特征、 第 二全局空间特征及所述依赖程度分别为所述目标视频 帧特征分配第一权 重及为所述目标音频 频谱特征分配第二权 重； 根据所述目标视频帧特征、 所述第一权重、 所述目标音频频谱特征及所述第二权重构 建所述场景语义特 征。 5.根据权利要求1 ‑4中任意一项所述的方法， 其特征在于， 所述根据 所述场景语义特征 对所述目标视频进行场景分割包括： 根据所述场景语义特征判断与所述场景语义特征对应的预设时间是否为所述目标视 频的场景分割时间点； 若与所述场景语义特征对应的预设时间为所述目标视频的场景分割时间点， 则在所述 场景分割时间点对所述目标视频进行场景分割， 得到场景分割结果。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述场景语义特征判断与所述场权　利　要　求　书 1/2 页 2 CN 114973086 A 2景语义特 征对应的预设时间是否为所述目标视频的场景分割时间点包括： 将所述目标视频在每个预设时间处对应的场景语义特征输入基于长短期记忆神经网 络结构的分类模型， 以判断每 个预设时间是否为所述目标视频的场景时间边界； 若多个预设时间中存在至少一预设时间为所述目标视频的场景时间边界， 则确定为所 述至少一预设时间为所述目标视频的场景分割时间点， 并输出所述至少一预设时间对应的 场景分割时间点。 7.根据权利要求6所述的方法， 其特征在于， 所述分类模型包括与所述预设时间的数量 相同的子网络， 每个预设时间对应的场景语义特征对应一个子网络， 每一子网络由长短期 记忆神经网络构建得到； 其中， 所述将所述 目标视频在每个预设时间处对应的场景语义特 征输入基于长 短期记忆神经网络结构的分类模型， 以判断每个预设时间是否为所述目标视 频的场景时间边界， 包括： 将第1个预设时间对应的场景语义特征输入所述分类模型中的第1子网络， 以得到所述 第1子网络的中间特 征； 将所述第1子网络的中间特征和第2个预设时间对应的场景语义特征输入所述分类模 型中的第2子网络， 以依据所述第 1子网络的中间特征判断所述第2个预设时间是否为所述 目标视频的场景时间边界， 并得到所述第2子网络的中间特 征； 将第n‑1子网络的中间特征和第n个预设时间对应的场景语义特征输入所述分类模型 中的第n子网络， 以依据所述第n ‑1子网络的中间特征判断第n个预设时间是否为所述目标 视频的场景时间边界， 其中， n 为大于3的正整数； 输出每一子网络对每 个预设时间的判断结果。 8.一种视频处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取目标视频， 其中， 所述目标视频为待 进行场景分割的短视频； 抽取模块， 用于每隔预设时间对所述目标视频进行抽帧， 得到多个视频帧； 特征提取模块， 用于通过对每个视频帧进行特征提取， 得到多个视频帧特征， 以及按照 所述多个视频帧对应的时序提取 所述目标视频中的音频 数据对应的多个音频 频谱特征； 学习模块， 用于通过对每一预设时间对应的视频帧特征和音频频谱特征进行融合学 习， 生成所述目标视频在每 个预设时间处对应的场景语义特 征； 处理模块， 用于根据所述场景语义特 征对所述目标视频进行场景分割。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所 述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114973086 A 3