(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210595354.X (22)申请日 2022.05.29 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 王波涛　宋宝玉　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种改进的核相关滤波跟踪算法 (57)摘要 一种改进的核相关滤波跟踪算法涉及图像 跟踪领域。 本发明引入CN颜色特征并进行特征融 合， 增强目标的特征表达能力； 其次引入尺度池 并进行划分， 设计了新的尺度搜索策略； 通过平 均峰值相关能量作为跟踪置信度指标区分目标 是否处于异常状态， 判断模型是否更新， 再使用 旁瓣检测对状态细分， 判断是否启用重检测步 骤。 本发明对核相关滤波跟踪算法进行全方面的 改进， 使用C++算法编写， 建立了基于视觉的改进 核相关滤波跟踪算法， 以解决旧算法目标尺度固 定与易产生模型漂移的问题。 权利要求书2页 说明书4页 附图3页 CN 115019249 A 2022.09.06 CN 115019249 A 1.一种改进的核相关滤波跟踪算法， 其特 征在于： (1)CN特征融合； 核相关滤波跟踪算法使用单目摄像头采取彩色图像， 通过选定任意目标进行FHOG特征 提取； FHOG在划分区间时， 分别进 行了无符号划分与有符号划分， FH OG特征划定每个细胞元 为4×4像素， 每个细胞元能分别生 成一个9维的无符号特征与18维的有符号特征； FOHG特征 再将9维无符号特征来与其周围8个细胞元进行归一化与截断， 归一化与截断为一个过程， 即当前细胞元分别与其左上、 右上、 右下、 左下包含当前细胞元的四个细胞元的特征进行叠 加， 形成一个4 ×9的特征矩阵； 后将4 ×9的特征矩阵每行每列分别相加， 得到4+9＝13维特 征向量， 最后形成13+18＝31 维特征向量； 通过将CN特征与FHOG特征进行特征向量的拼接， 以求取更明显的目标特征表达； 在此 过程中， 对FHOG特征进行进一步改进， 即不再使用9维的无符号特征向量， 而仅使用18维的 有符号特征向量， 将18维有符号特征来进行归一化与截断， 形成一个4 ×18的特征矩阵， 后 将4×18的特征矩阵每行每列分别相加， 得到4+18＝22维特征向量最后再将其与11维的CN 特征向量进行拼接， 最终形成4+18+11＝33维的特征向量； 拼接的方式为 11维的CN特征向量 直接连接在2 2维的FHO G特征向量尾部形成一个特 征向量； (2)尺度自适应； 目标尺度大部分落在[0.9， 1)、 (1， 1.1]两个区间， 超出[0.9， 1.1]区间的尺度绝大部分 不超过原尺度的1.25倍， 最小尺度则不低于原尺度的0.75倍； 提供了四个尺度区间， 分别为 [0.75， 0.9)、 [0.9， 1)、 (1， 1.1]、 (1.1， 1.25]， 并对这四个区间进行了划分； 尺度落在[0.9， 1)、 (1， 1.1]这两个区间的概率最大， 给每个区间划分为4个尺度； 尺度落在另外两区间的概 率较小， 给每个区间划分了3个尺度； 最终形成3+4+1+3+4＝15维的尺度池S＝{0.75， 0.8， 0.85， 0.9， 0.925， 0.9 5， 0.975， 1， 1.025， 1.05， 1.075， 1.1， 1.15， 1.2， 1.25}尺度池由公式表 示， 式中m＝7， n ＝4，‑m＝‑7，‑n＝‑4； S＝{t‑m，…， t‑n‑1， t‑n，…， t‑1， t， t1…， tn， tn+1，…， tm} 目标在视频序列中尺度的变化具有短时一致性， 即在一定的帧数内目标尺度会向同一 个方向变化， 记录此信息起到 辅助选取尺度的作用； 具体的方法为： 选取10帧为一个周期， 分别记录10帧内每帧目标尺度的变化情况； 为每一帧定义一个 变量myScale,为myScale定义不同的数值来表示尺度的变化情况： myScale＝(2： 尺度变大， 0： 尺度不变， ‑2： 尺度变小)； 同时维护一个变量mySum用来统计每10帧myScale的和； 式中i 代表当前帧数， N代 表视频总帧数； mySum的值需在尺度开始搜索之前计算出来； mySum的值代表不同的含义， 其和大于0代表近10帧中出现目标尺度变大的情况多， 当 前帧目标尺度变大的概率越 大， 优先搜索； 若mySum小于0， 代表当前帧目标尺度变小的概率 较大； 当mySum等于0时， 目标的尺度可能一直未发生变化， 也可能表 示在近10帧中出现尺度 变大与变小的帧数相等； 结合当前帧尺度变化的概 率， 实现尺度的预测， 降低计算 量； 先确定尺寸变化方向， 再验证尺寸是否突变， 最后确定最佳尺寸； 具体表述为： 首先分 别计算f(t)、 f(t1)、 f(t‑1)的值， f()表示计算响应,f(t)代表尺度池s中尺度为1时的响应权　利　要　求　书 1/2 页 2 CN 115019249 A 2值， f(t1)代表尺度池s中尺度为1.025时的响应值， f(t‑1)代表尺度池s中尺度为0.975时的 响应值,t的下 标代表尺度池中对应尺度值； 更 具体表示 为： 步骤1： f(t)>f(t1)且f(t)>f(t‑1)此时确定目标尺寸没有发生变换 步骤2： 当f(t1)>f(t)时， 确定目标尺寸变大； 此时再计算f(tn)的值并比较f(t1)与f (tn),若f(t1)>f(tn)则代表目标最佳尺寸在(1， 1.1]， 从t2升序搜索； 若f( t1)<f(tn)且f (tn)‑f(t1)>r(r取0.2),则代表目标尺寸存在变 化， 此时从tn+1升序搜索获得最 佳尺寸， 反之 则表明最佳尺寸在(1， 1.1]区间内并距离tn较近， 从tn‑1降序搜索快速求得最佳尺寸； 步骤3： 当f(t‑1)>f(t)时， 确定目标尺寸变小； (3)模型更新策略与重检测机制； 模型更新策略采用每一帧皆线性加权的方式， 公式如 下； 其中а代表更新后的模型， аt‑1 代表历史模板， аt代表当前帧模型， η为学习因子， η＝0.012； 学习因子是模型更新过程中最 重要的参数， 学习因子的值越大， 模型中历史信息越少； α ＝(1‑η )αt‑1+ η αt 通过判断响应图的波动情况确定目标跟踪状态的好坏， 使用APCE作为判断响应图的波 动情况， Fmax， Fmin， 表示响应矩阵中的最大值与最小值， Fw,h表示响应矩阵中(w,h)位置对应 的响度值， 当APCE的值大于等于其历史平均值的0.7倍时， 代表响应图的波动较小， 此时更 新跟踪模 型， 即η值不变； 而当AP CE的值小于其历史平均值的0.7倍时， 代表响应图的波动较 大， 表明目标 可能被遮挡或者丢失， 此时需要 进行遮挡与丢失的判断； 使用旁瓣峰检测区分遮挡与丢 失状态， Fmax表示响应最大值， Fsp表示局部最大值即旁瓣 峰， R代表响应矩阵， k代表惩罚因子， k取0.4； 若响应矩阵中存在局 部最大值且该值大于等 于Fmax乘以比例k时， 认 为目标丢失； 当目标丢失， 需进 行重检测； 否则目标被遮挡， 模型不更 新， 即 η置为1； 通过重检测来重新确定目标位置， 以丢失的目标框为中心， 扩大采样区域， 扩大后的采 样区域为算法原 来采样区域的两倍， 并通过双线性插值的方式将其尺度变换到初始采样区 域的大小后计算其响应值f(tnew)， 得到最大响应对应的坐标后再通过双 线性差值的方式进 行反变换， 即得到最终位置； 模型更新策略与重检测机制如下表示： 当APCE大于其历史平均 值的0.7倍时， 此 时断定跟踪状态良好， 模型更新； 反之， 此 时再 判断是否存在Fsp并且该值大于Fmax一定比例k， 若成立， 则认为目标被遮挡， 模型不更新， 若 不成立， 则认为目标丢失； 当判定为丢失状态 时， 开启重检测模块， 计算重检测后最大响应 值f(tnew)并与当前响应值f(t)比较， 如果f(tnew)>f(t)， 代表重检测到目标， 此时将新模型 纳入更新， 反 之产生误判， 模型不予更新。权　利　要　求　书 2/2 页 3 CN 115019249 A 3