(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508386.1 (22)申请日 2022.05.11 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 王晔　吴磊　杨凯　胡莺夕　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 贾磊　李辉 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06T 5/00(2006.01) G06T 5/50(2006.01) G06Q 10/04(2012.01) G06Q 40/02(2012.01) (54)发明名称 视频中小目标的预测方法、 装置、 设备、 存储 介质和产品 (57)摘要 本文涉及金融科技领域， 本文提供了一种视 频中小目标的预测方法、 装置、 设备、 存储介质和 产品， 其中方法包括： 通过神经网络模型中的 backbone网络和neck网络对当前帧的图片进行 多个不同尺度的特征提取， 得到多尺度的特征 图； 根据当前帧所对应的前一帧的图片， 得到小 目标对应的增强信息， 其中前一帧为所述当前帧 的前一时刻所对应的帧； 通过增强信息对所述小 尺度特征图进行小尺度信息增强处理， 得到增强 后的小尺度特征图； 将增强后的小尺度特征图输 入神经网络模型中的h ead网络， 预测小目标对应 的位置信息、 置信度和分类概率， 进而得到在位 置信息所示的位置处的存在 小目标的概率， 以及 小目标所属的类别。 本文能够降低小目标漏检、 误检的情况发生。 权利要求书3页 说明书11页 附图5页 CN 114863339 A 2022.08.05 CN 114863339 A 1.一种视频中小目标的预测方法， 其特 征在于， 包括： 通过神经网络模型中的backbone网络和neck网络对当前帧的图片进行多个不同尺度 的特征提取， 得到多尺度的特征图， 其中所述多尺度的特征图中包括小目标对应的小尺度 特征图； 根据所述当前帧所对应的前一帧的图片， 得到所述小目标对应的增强信息， 其中所述 前一帧为所述当前帧的前一时刻所对应的帧； 通过所述增强信 息对所述小尺度特征图进行小尺度信 息增强处理， 得到增强后的小尺 度特征图； 将所述增强后的小尺度 特征图输入神经网络模型中的head网络， 预测所述小目标对应 的位置信息、 置信度和分类概率， 进而得到在所述位置信息所示的位置处的存在小目标 的 概率， 以及所述小目标 所属的类别。 2.根据权利要求1所述的视频中小目标的预测方法， 其特征在于， 所述根据所述当前帧 所对应的前一帧的图片， 得到所述小目标对应的增强信息进一 步包括： 根据所述当前帧所对应的前一帧的图片， 得到多尺度的前增强掩码特 征图； 对所述多尺度的前增强掩码特征图进行时空融合处理， 得到所述小目标对应的增强信 息。 3.根据权利要求2所述的视频中小目标的预测方法， 其特征在于， 所述根据所述当前帧 所对应的前一帧的图片， 得到多尺度的前增强掩码特 征图进一 步包括： 根据当前帧所对应的前一帧的图片， 得到多尺度的前特征图， 其中所述多尺度的前特 征图中包括前一帧中小目标对应的小尺度前 特征图； 对所述小尺度前 特征图进行小尺度信息增强处 理， 得到处 理后的多尺度的前 特征图； 对所述处理后的多尺度的前特征图进行掩码增强操作， 得到多尺度的前增强掩码特征 图。 4.根据权利要求3所述的视频中小目标的预测方法， 其特征在于， 所述根据当前帧所对 应的前一帧的图片， 得到多尺度的前 特征图进一 步包括： 通过神经网络模型中的backbone网络和neck网络对所述当前帧所对应的前一帧的图 片进行多尺度特 征提取， 得到多尺度的前 特征图。 5.根据权利要求3所述的视频中小目标的预测方法， 其特征在于， 所述对所述小尺度 前 特征图进行小尺度信息增强处 理， 得到处 理后的多尺度的前 特征图进一 步包括： 根据所述前一帧所对应的历史帧的图片， 得到所述前一帧中小目标对应的前增强信 息， 其中所述历史帧为所述前一帧的前一时刻所对应的帧； 通过所述前增强信 息对所述小尺度 前特征图进行小尺度信 息增强处理， 得到处理后的 多尺度的前 特征图。 6.根据权利要求3所述的视频中小目标的预测方法， 其特征在于， 所述对所述处理后的 多尺度的前 特征图进行增强掩码增强操作， 得到多尺度的前增强掩码特 征图进一 步包括： 对所述处 理后的多尺度的前 特征图分别进行掩码 操作， 得到多尺度的前掩码特 征图； 对所述多尺度的前掩码特 征图分别进行信息增强， 得到多尺度的前增强掩码特 征图。 7.根据权利要求6所述的视频中小目标的预测方法， 其特征在于， 所述对所述处理后的 多尺度的前 特征图分别进行掩码 操作， 得到多尺度的前掩码特 征图进一 步包括：权　利　要　求　书 1/3 页 2 CN 114863339 A 2将所述处理后的多尺度的前特征图分别输入神经网络模型中的head网络， 预测所述多 尺度的目标分别对应的前位置信息、 前置信度和前分类概 率； 根据所述多尺度的目标分别对应的前位置信 息， 确定所述多尺度的目标分别对应的前 目标框； 将所述多尺度的目标分别对应的前目标框中的背景像素均置为0， 得到多尺度的前掩 码特征图。 8.根据权利要求7所述的视频中小目标的预测方法， 其特征在于， 所述对所述多尺度的 前掩码特 征图分别进行信息增强， 得到多尺度的前增强掩码特 征图进一 步包括： 所述多尺度的前增强掩码特 征图通过如下公式计算： 其中， i为多尺度中的任一尺度， Fi(t‑1)为处理后的任一尺度的前特征图， 为任一 尺度的前掩码特征图 ， 为任一尺度的目标分别对应的前置信度， 为任一尺度的目标分别对应的前分类概率 中的最大值， 为任一尺度 的前增强掩码特 征图。 9.根据权利要求2所述的视频中小目标的预测方法， 其特征在于， 所述对所述多尺度的 前增强掩码特 征图进行时空融合处 理， 得到所述小目标对应的增强信息进一 步包括： 将所述多尺度的前增强掩码特 征图进行空域融合， 得到空域特 征； 将所述空域特 征进行RN N时域特征融合， 得到所述小目标对应的增强信息 。 10.根据权利要求9所述的视频中小目标的预测方法， 其特征在于， 所述将所述多尺度 的前增强掩码特 征图进行空域融合， 得到空域特 征进一步包括： 利用平均池化算子对所述多尺度的前增强掩码特征图进行多尺度维度统一， 得到多尺 度特征； 利用自注意力机制对所述多尺度特 征进行空间融合， 得到所述空域特 征。 11.根据权利要求1所述的视频中小目标的预测方法， 其特征在于， 所述通过所述增强 信息对所述小尺度特征图进行小尺度信息增强处理， 得到增强后的小尺度特征图进一步包 括： 所述增强后的小尺度特 征图通过如下公式计算： Fs′(t)＝Fs(t)+h(t)； 其中， Fs′(t)为增强后的小尺度特 征图， Fs(t)为小尺度特 征图， h(t)为增强信息 。 12.一种视频中小目标的预测装置， 其特 征在于， 所述装置包括： 特征提取模块， 用于通过神经网络模型中的backbone网络和neck网络对当前帧的图片 进行多个不同尺度的特征提取， 得到多尺度的特征图， 其中所述多尺度的特征图中包括小 目标对应的小尺度特 征图； 增强信息确定模块， 用于根据所述当前帧所对应的前一帧的图片， 得到所述小目标对 应的增强信息， 其中所述前一帧为所述当前帧的前一时刻所对应的帧；权　利　要　求　书 2/3 页 3 CN 114863339 A 3