(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210936032.7 (22)申请日 2022.08.05 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 肖进胜　吴原顼　眭海刚　姚韵涛　 王中元　王澍瑞　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/54(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于关键区域和场景深度的小样本异 常行为识别方法 (57)摘要 本发明公开了一种基于关键区域和场景深 度的小样 本异常行为识别方法。 首先对视频进行 随机稀疏化采样， 并对采样出的视频帧进行全局 特征提取， 接着将全局特征图输入到基于加权偏 移的关键区域选取模块， 得到包含异常行为主体 的关键区域并进行局部特征提取， 然后将全局特 征与局部特征融合得到视频级RGB特征， 再将视 频帧提取出相应的场景深度图， 并对场景深度图 重复上述特征提取步骤得到视频级场景深度特 征， 最后将视频级RGB特征与场景深度特征融合 得到最终的视频级特征， 并将 视频级的特征输入 小样本分类器得到异常行为识别结果。 本发明针 对监控场景的异常行为识别， 提高了准确性、 计 算效率和鲁棒性， 并且适用于多运动目标及复杂 背景的监控视频的情况。 权利要求书4页 说明书9页 附图3页 CN 115439926 A 2022.12.06 CN 115439926 A 1.一种基于关键区域和场景深度的小样本异常行为识别方法， 其特征在于， 包括以下 步骤： 步骤1， 对视频进行随机稀疏化采样， 将视频按照帧数均分成N段， 每段中随机采样M帧， 将总共N×M帧作为视频的代 表； 步骤2， 利用全局特征提取网络对步骤1生成的视频帧进行特征提取， 得到二维的全局 特征图和一维的全局特 征向量； 步骤3， 对步骤2提取出的二维全局特征图进行基于加权偏移的关键区域选取， 得到视 频帧中包含异常行为主体的关键区域， 利用局部特征提取网络提取出关键区域的一 维局部 特征向量； 步骤3.1， 对步骤2提取出的二维全局特征图进行时空特征提取和运动特征提取， 生成 具有时空信息和物体运动信息的特 征图； 步骤3.2， 基于加权偏移选取关键区域的中心点； 步骤3.3， 利用双线性插值得到关键区域 其余点的像素值； 步骤3.4， 将关键区域输入到局部特 征提取网络中， 得到关键区域的局部特 征； 步骤4， 将步骤2中提取的全局特征向量和步骤3中提取的局部特征向量进行融合， 得到 视频级的RGB特 征向量； 将全局特征向量和局部特征向量首尾相连， 融合后的视频级RGB特征向量维数是全局 特征向量维数和 局部特征向量维数之和； 步骤5， 利用单目场景深度估计模型对步骤1生成的N ×M帧进行处理， 得到相应的N ×M 帧场景深度图； 步骤6， 对步骤5中提取出的场景深度图重复步骤2到步骤4的操作， 得到视频级的场景 深度特征向量； 步骤7， 将步骤4提取的视频级RGB 特征向量和步骤6提取的视频级场景深度特征向量进 行融合， 得到最终的视频级特 征向量； 步骤8， 将步骤7中得到的视频级特征向量输入小样本分类器， 得到最终的异常行为识 别结果。 2.如权利要求1所述的一种基于关键区域和场景深度的小样本异常行为识别方法， 其 特征在于： 步骤1 中首先将 视频通过ffmpeg软件提取成连续的视频帧， 通过os库统计视频帧 的个数， 将视频帧等分成N份， 每份中随机抽取M帧； 然后将这N ×M帧通过PIL库进行进一步 处理： 如果视频帧的宽或高小于a， 则将 较短边尺寸调整为a， 较长边调整为b； 当将视频帧用 于训练时， 对视频帧进行随机位置裁剪， 裁剪尺寸为a ×a， 并以50％概率进行随机竖直翻 转； 当对视频帧中异常行为进行预测时， 只对视频帧的中心位置进行裁剪， 裁剪尺寸为a × a； 最后将N ×M帧进行向量 化后再进行归一 化， 作为视频的代 表。 3.如权利要求1所述的一种基于关键区域和场景深度的小样本异常行为识别方法， 其 特征在于： 步骤2中将步骤1得到的N ×M视频帧数据输入到Resnet ‑50网络中进行特征提取， 从Resnet ‑50网络最后一个卷积层的输出得到全局特征图， 从平均池化层的输入得到全局 特征向量， Resnet ‑50加载从Ki netics视频 数据集上 预训练得到的参数。 4.如权利要求3所述的一种基于关键区域和场景深度的小样本异常行为识别方法， 其 特征在于： 步骤3.1包括以下几个步骤：权　利　要　求　书 1/4 页 2 CN 115439926 A 2步骤3.1.1， 对输入的视频帧特征图进行通道均值归一化， 即对输入的多个通道求平均 值得到单通道的输出； 步骤3.1.2， 对步骤3.1.1得到的归一 化后的特 征图进行时空特 征提取； 首先进行数据重构， 通过数据重构将视频帧特征图时间维度和通道维度进行互换， 接 着输入三维卷积， 三维卷积网络能够提取视频帧的时空信息， 然后再次进行数据重构将维 度恢复， 即将时间维度和通道维度再一次互换， 最后通过Sigmoid函数进 行归一化得到时空 特征图； 步骤3.1.3， 对步骤3.1.1得到的归一 化后的时空特 征图进行运动特 征提取； 首先进行时间分散， 即将连续的视频帧代表的特征图分开， 得到每一帧分别代表的特 征图， 然后将各帧代表特征图分别输入到二维卷积中提取空间特征， 并求出各帧与其相邻 的后一帧二维卷积输出的差， 即： Xout＝K*Xt+1‑Xt    (1) 式中， K代表二维卷积通过训练学习 到的参数， Xt+1、 Xt分别代表第t+1帧和第t帧输入的 特征图； 最后将所有求得的差值连接并通过Sigmo id函数进行归一 化得到运动特 征图； 步骤3.1.4， 使用残差结构将步骤3.1.2和步骤3.1.3输出的特征图与步骤3.1.1产生的 特征图相加得到具有时空信息和运动信息的特 征图； 步骤3.1.5， 对步骤3.1.4得到的特征图进行二维softmax操作， 即将二维特征图上各行 各列的元 素输入到softmax函数中， 使得二维特 征图上所有元素相加为1。 5.如权利要求1所述的一种基于关键区域和场景深度的小样本异常行为识别方法， 其 特征在于： 步骤3.2是从原图中均匀地取L个点 以原图中心点指向各点ai得到偏移向 量 以步骤3.1提取的特征图上的元素ui作为权重， 对所有偏移向量进行加 权求和得到和 矢量 并以 指向的点 为关键区域的中心点， 包括以下几个步骤： 步骤3.2.1， 在边长为原图边长与关键区域边长的差且位于原图中心的正方形区域内 选取关键区域的中心点； 步骤3.2.2， 对步骤3.2.1所选的正方形区域从边界上开始均匀取L个点 点的数量 L与步骤3.1中提取的具有时空信息和运动信息的特征图上元素数量相同， 各点按照空间从 左到右、 从上到下的顺序分别与特 征图上各元素对应； 步骤3.2.3， 取以原图中心点出发指向各点ai的向量为偏移向量 步骤3.2.4， 以特征图上对应元素ui作为偏移向量的权重， 位移 矢量 加权后求和得到和 矢量 和矢量 指向的点即为关键区域的中心点。 6.如权利要求1所述的一种基于关键区域和场景深度的小样本异常行为识别方法， 其 特征在于： 步骤3.3中首先通过对关键区域的中心点 进行平移得到关键区域上其他权　利　要　求　书 2/4 页 3 CN 115439926 A 3