(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210239818.3 (22)申请日 2022.03.12 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 朱迪　袁正谦　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 沈波 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的无人机多目标车辆跟 踪方法 (57)摘要 本发明公开了一种基于深度学习的无人机 多目标车辆跟踪方法， 把深度特征融合网络引入 联合模型， 在小步长下采样率的网络结构中提取 目标的特征图， 减小量化误差并且在应用于小目 标的俯瞰场景时引入了OrientedR ‑CNN方法进行 车辆方向的检测。 在网络上采样过程中引入最新 的可变卷积， 提高对不同尺寸目标的适应能力。 以多个头部的方式并行 实现目标检测和学习Re ‑ ID特征。 在内部轨迹关联上， 以交并比(I OU)匹配 的方式， 将车辆的Re ‑ID特征指定给对应车辆轨 迹， 预测串联轨迹在当前视频帧中的位置以完成 跟踪。 算法有效改善了模型使用基于Anchor的骨 干网络学习Re ‑ID特征不佳而导致的ID切换、 检 测失效问题， 提高了车辆多目标跟踪算法的鲁棒 性。 权利要求书2页 说明书6页 附图3页 CN 114612776 A 2022.06.10 CN 114612776 A 1.一种基于深度学习的无人机多目标车辆跟踪方法， 其特征在于： 该方法包括如下步 骤， S1： 通过无人机数据集获取图像； S2： 对图像进行 预处理， 包括去噪、 去畸变以及压缩图像尺寸处 理； S3： 通过centernet算法检测预处理后的图像中车辆的大小， 是否超过相应阈值判断是 俯视角还是监控视角； S31： 对于是俯视角的情况， 则通过Oriented  R‑CNN算法对预处理后的图像进行多个目 标检测， 获得多个目标的检测结果矩形框； S32： 对于是监控视角的情况， 继续通过centernet算法对预处理后的图像进行多个目 标检测， 获得多个目标的检测结果矩形框； S4： 基于每一个目标的检测结果矩形框， 采用联合模型以单网络多任务方式实现车辆 多目标跟踪； S41： 实时判断跟踪目标是否丢失， 若跟踪目标未丢失， 则继续当前跟踪， 且保存当前目 标的位置； 若跟踪目标丢失， 则返回S1重新进行目标检测； S42： 针对新的检测结果矩形框， 首先与上一时刻的跟踪目标的矩形框进行数据关联， 完成矩形框之间的相似度匹配； 之后结合匈牙利算法， 实现跟踪目标在当前运动与历史运 动的一一匹配， 以维持视野中多个目标的跟踪与实时状态估计； S5： 基于跟踪目标在当前时刻的位置， 使用卡尔曼滤波算法预测跟踪目标下一时刻的 速度与位置； S6： 继续重复S1～S5， 直到数据集结束终止跟踪。 2.根据权利要求1所述的一种基于深度学习的无人机多目标车辆跟踪方法， 其特征在 于： 首先以有序的视频帧数据作为输入， 在数据预 处理后， 使用可变卷积深度特征融合网络 DDLA获得以小步长下采样率输出的下采样特征图， 减少大步长下采样率带来的特征模糊问 题； 在上采样过程引入DCNv2可变卷积， 提高模型对车辆尺寸及位置变化的适应能力； 在原 本的检测器网络上添加更适合车辆目标特征维度的卷积层获取车辆目标特征的Re ‑ID分 支， 满足联合模型并行输出检测和Re ‑ID特征的要求， 按时间序列进行轨迹链接， 完成车辆 多目标跟踪。 3.根据权利要求1所述的一种基于深度学习的无人机多目标车辆跟踪方法， 其特征在 于： 可变卷积深度特征融合网络， 为解决目标发生形变而产生的跟踪漂移问题和满足联合 模型车辆多目标跟踪对于特征图的需求， 提出一种 可变卷积深度特征融合网络， 并把此可 变卷积深度特征融合网络应用于联合模型骨干网络部分， 可形变深度融合网络以小步长的 下采样率采样提取不同层次的车辆目标特征信息， 用可变卷积代替上采样普通2D卷积方式 实现特征图的提取； 参考原始DLA ‑34网络的下采样方式， 在下采样过程中， 首先以视频帧作 HfxWf为输入， 由base及level0 ‑level5共7个层layer实现整个下采样部分.Base ‑layer、 level0‑layer利用2D卷积归一化和激励函数对视频帧特征进行初步提取， 得到与原始视频 帧相同大小的全局特 征图HfxWf， 其中Hf代表图像特 征图高度， Wf为代表特征图宽度； Level1‑layer负责对全局特征 图进行初次下采样， 得到与输出特征 图相同大小的1层 特征图：权　利　要　求　书 1/2 页 2 CN 114612776 A 2Level2‑layer到level5 ‑layer三个下采样过程充分利用分层特征融合HDA结构提取车 辆目标的特 征信息， 下采样得到第i层特 征图FMi。 4.根据权利要求1所述的一种基于深度学习的无人机多目标车辆跟踪方法， 其特征在 于： 在三个下采样过程中， 交错连接每个Tree模块与r oot模块， 以提高不同特征图之间的信 息交互， 通过类似于空间特征金字塔的相互连接方式组合形成整体树形结构， 以实现不同 尺度的语义空间融合， 提高网络在不同层次之间的车辆特 征交互能力； 在网络的上采样过程中， 应用多个迭代特征融合IDA结构实现网络的上采样过程， 迭代 特征融合结构由project、 node、 up三个模块组成， DCNv2可变卷积代替了每个迭代特征融合 IDA模块中的普通2D卷积， 在 DCNv2可变卷积中， 对 于给定k个采样点的卷积核， 令Wk和Pk分别 表示第k个采样点的权值和预先指定的偏移 量， 设x(p)和y(p)分别表 示输入的特征图x和输 出的特征图y中位置p处的车辆特 征； 调制后的可变卷积表示 为： 其中Δpk和Δmk分别为第k个位置的可学习偏移量和调制标量； 这种对偏移量和调制标 量的引入能够有效减少普通2D卷积在位置变化上 给整体网络计算 量带来的压力。 5.根据权利要求1所述的一种基于深度学习的无人机多目标车辆跟踪方法， 其特征在 于： 检测部分采用两种方式， 首先采用centernet算法提取车辆目标的检测框， 通过检测框 的大小判断数据集的视角， 如果是俯瞰视角则采用Oriented  R‑CNN算法提取车辆检测框， 否则继续使用centernet算法提取 车辆目标的检测框； Oriented  R‑CNN检测算法图片输入之后， 经过backbone生成特征图， 将特征图送入 oriented  RPN中， 生成一系列的高质量的oriented  proposals， 再将这些p roposals和特征 图一块送入第二阶段的oriented  R‑CNN Head中， 对每个p roposal进行变形后送入FC层， 最 后经过两个分支输出分类结果和位置回归结果； 用于调整俯瞰角度检测框的方向， 解决跟 踪目标的方向问题， 并且在目标丢失后， 采用有向的检测框， 对于重识别提供更准确的预测 信息。权　利　要　求　书 2/2 页 3 CN 114612776 A 3