(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210827870.0 (22)申请日 2022.07.13 (71)申请人 四川轻化工大 学 地址 643000 四川省自贡 市自流井区汇东 学苑街180号 (72)发明人 奉志强　王小刚　刘铭睿　魏阳　 练泽玮　郭少杰　廖桓莹　王浩　 (74)专利代理 机构 成都智言知识产权代理有限 公司 51282 专利代理师 孔维青 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/20(2022.01) (54)发明名称 基于复杂光照条件下红外监控视频的行为 识别方法 (57)摘要 本发明涉及视频监控技术领域,尤其是一种 基于复杂光照条件下红外监控视频的行为识别 方法， 本发 明首先通过判断视频中每帧图像信息 熵的变化情况将光照变化严重的图像标注， 再对 光照变化严重的图像进行灰度变换并替换视频 中光照变换严重的视频图像， 然后使用IDT算法 提取视频中的运动特征， 最后使用多分类的SVM 算法进行行为类别分类。 本发明的有益效果是能 够直接对夜间红外视频监控中的人体行为进行 识别， 即使红外监控视频中存在严重光照变化或 亮度变化， 也可不进行其它处理， 直接对其进行 行为识别， 相比其它行为识别方法更为有效。 权利要求书3页 说明书7页 附图1页 CN 115115990 A 2022.09.27 CN 115115990 A 1.一种基于复杂光照条件下红外监控视频的行为识别方法， 其特征在于， 包括以下步 骤： S1.计算视频中每帧图像的信息熵并根据图像信息熵的变化情况标记出光照 变化大的 视频图像并进行 灰度变换， 消除由于光照干扰产生的图像亮度突变的现象； S2.计算视频图像的光流特征并从光流特征中获取光流直方图HOF、 梯度直方图HOG、 运 动边界直方图MBH和轨 迹四类特 征； S3.对特征进行降维并使用费希尔向量FV特征编码对获取的四类特征进行特征融合编 码； S4.将编码后特 征送入到训练好的支持向量机SVM中进行 行为类别分类。 2.根据权利要求1所述的一种基于复杂光照条件下红外监控视频的行为识别方法， 其 特征在于， S1的具体方法如下： S1.1视频图像预处 理 获取到视频图像后将图像尺寸转为新的尺寸大小， 新尺寸大小为h ×w， 得到的视频定 义为V； S1.2标记光照变化大的视频图像 分别计算视频V中每一帧图像的信息熵， 图像一维信息熵可根据信息论中熵的定义由 以下公式计算得到： 其中， Si表示视频第i帧的图像一维信息熵， Pk表示图像像素值为k的像素点占图像的总 像素点的比例； 视频的信息熵S表示为[S1,S2,…,Sn]， 其中n为视频图像帧的总数， 找出S中 的 最小值Sj(1≤j≤n) ， 以 位置j为中 心 ， 向 两端扩展 ， 扩展的 结束条件为 取视频V中的第a帧到第b帧图像构成新的视频 V′； S1.3对光照变化大的图像进行 灰度变换 使用伽马变换对视频V ′中的每帧图像的像素值进行变换， 使得每帧图像的灰度级分布 较均匀， 变换后的图像帧构成视频V ″， 最后使用视频V ″替换视频V 中的第a帧到第b帧图像， 构成视频V1。 3.根据权利要求2所述的一种基于复杂光照条件下红外监控视频的行为识别方法， 其 特征在于， S2的具体方法如下： S2.1计算视频的光 流矢量 视频V1中的第t帧图像表示为I(x,y,t)， 第t+1帧图像 可通过第t帧表示为I(x+dx,y+dy, t+dt)， 第t帧图像的光流矢量表 示为(u,v)， u和v分别表示为光流在图像x与y方向的速度矢 量， 其中 像素点(x,y)的光 流矢量定义 为f(x,y)(u,v)； S2.2获取 特征运动轨 迹 首先将视频V1中的视频图像缩放成m个不同尺寸的视频图像， 缩放因子取 将视频权　利　要　求　书 1/3 页 2 CN 115115990 A 2图像划分为多个方形网格， 每个网格都作为一个密集采样特征点， 然后在视频的时序维度 上获取这些密集采样特征点的运动轨迹； 其中， 第t帧时刻的第i个密集特征点的坐标为 该特征点在t+1时刻的坐标为 其中(ut,vt)为第t帧视频图像的光流场， Km为中值滤波器， 定义第t帧的特征位置为Pt， 长度为L帧图像的视频的所有密集采样特 征点的运动轨 迹可表示 为{P1， P2，…,PL}； 密集轨迹特征的位移向量可表示 为ΔPt＝Pt+1‑Pt， 对轨迹特征进行归一 化： S2.3获取HO G特征 通过计算像灰度图像像素点梯度方向直方图获取HOG特征， 首先将视频图像根据以下 公式转化为灰度图像： Gray＝0.3R+0.59G+0.1 1B (3) 其中， Gray为转换后的灰度图像， R， G， B分别表示彩色图像中的红、 绿、 蓝三个通道； 对 转换后的灰度图像计算水平方向和垂直方向的梯度， 水平方向的梯度算子为[ ‑1,0,1]， 垂 直方向的梯度算子为[ ‑1,0,1]T， 计算公式如下： Gx(x,y)＝f(x+1,y) ‑f(x‑1,y) (4) Gy(x,y)＝f(x,y+1) ‑f(x,y‑1) (5) 公式(4)、 (5)和(6)分别是图像中像素点f(x,y)在水平方向的梯度、 垂直方向的梯度和 该像素点的梯度方向， 最后将图像划分为多个相同大小且不重合的方 形单元； S2.4获取HOF 特征 通过对光流方向进行加权统计则可得到光流方向直方图HOF， 利用光流矢量f(x,y)(u,v) 来计算光流矢量与水平方向的夹角， 角度范围取值为 ‑90°～90°之间， 忽略夹角的左右方 向， 并使用光 流矢量的模长对其进行加权， 其计算公式如下： 然后对φ(x,y)进行归一化处理， 最后将角度范围 ‑90°～90°均匀划分为若干个区域， 使 用直方图的方式对φ(x,y)进行统计， 这若干个角度区域对应于直方图的若干个条纹； S2.5获取MBH特 征 通过计算图像的光流的梯度直方图获得运动边界直方图特征MBH， 图像中每个像素点 的光流矢量由沿X轴 方向和Y轴 方向的两个分量组成， 则需要分别计算X轴 方向的梯度直方 图MBHX和Y轴方向的梯度直方图MBH Y。 4.根据权利要求3所述的一种基于复杂光照条件下红外监控视频的行为识别方法， 其 特征在于， S3的具体方法如下：权　利　要　求　书 2/3 页 3 CN 115115990 A 3