(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211166578.5 (22)申请日 2022.09.21 (71)申请人 中国船舶集团有限公司第七一 一研 究所 地址 201108 上海市闵行区华宁路31 11号 (72)发明人 黄苧健　张婷　黄滔　聂大干　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 黄威 (51)Int.Cl. G06T 7/277(2017.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/62(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) (54)发明名称 目标识别跟踪方法、 装置、 电子设备及存储 介质 (57)摘要 本发明提供一种目标识别跟踪方法、 装置、 电子设备及存储介质， 所述方法包括基于 RetinaNet网络构建用于训练目标识别的第一神 经网络模型和基于deepSORT算法构建用于训练 目标跟踪的第二神经网络模型； 获取预设监测区 域的视频流， 并将经过预处理的视频流的画面帧 输入至已训练的第一神经网络模 型， 得到所述画 面帧中每个目标的目标检测结果； 将至少一个目 标的目标检测结果输入至已训练的第二神经网 络模型以进行位置预测， 得到目标对应的轨迹信 息。 本发明能够准确识别目标和满足目标轨迹跟 踪的需求。 权利要求书3页 说明书14页 附图5页 CN 115546260 A 2022.12.30 CN 115546260 A 1.一种目标识别跟踪方法， 其特 征在于， 所述方法包括： 基于Retin aNet网络构建用于训练目标识别的第一神经网络模型和基于deepSORT算法 构建用于训练目标跟踪的第二神经网络模型； 获取预设监测区域的视频流， 并将经过预处理的视频流的画面帧输入至已训练 的第一 神经网络模型， 得到所述画面帧中每 个目标的目标检测结果； 将至少一个目标的目标检测结果输入至已训练的第 二神经网络模型以进行位置预测， 得到目标对应的轨 迹信息。 2.根据权利要求1所述的目标识别跟踪方法， 其特征在于， 所述基于RetinaNet网络构 建用于训练目标识别的第一神经网络模型的步骤 包括： 利用基于RetinaNet网络的迁移学习构建视频处理模块和检测算法模块， 以搭建所述 第一神经网络模型的训练环境； 其中， 所述训练环境包括使用RetinaNet网络中的ResNet网络和FPN网络提取图片特 征， 使用anchor锚框搜索边框， 在class  subnet子网络中调用Focal  loss损失函数预测类 别， 以及使用box  subnet子网络预测边框坐标和大小。 3.根据权利要求2所述的目标识别跟踪方法， 其特征在于， 使用RetinaNet网络进行迁 移学习的步骤 包括： 修改预设模型的配置文件 的参数以适配RetinaNet网络的训练要求， 所述参数包括训 练目标种类的数量、 训练图片重新调整的尺寸大小、 更改分类模型、 训练数据路径、 评估数 据路径以及标签索引路径的一种或多种组合； 保留RetinaNet网络的特征抽取层和边界框回归预测层和冻结RetinaNet网络中不被 使用的目标分类预测层； 设置所述第 一神经网络模型的训练模式并配置训练参数以进行模型训练， 所述训练参 数包括一次训练的样本数量、 训练批数量、 学习速率以及优化方式的一种或多种组合； 在训练过程中设置跟踪参数以选取最优 模型作为所述第一神经网络模型。 4.根据权利 要求1所述的目标识别跟踪方法， 其特征在于， 所述基于deepS ORT算法构建 用于训练目标跟踪的第二神经网络模型的步骤 包括： 通过deepSORT算法的cosine_metric_le arning训练仓库训练deepSORT跟踪器， 并应用 TensorFl ow框架导出训练结果， 所述 导出的训练结果 为冻结的pb模型； 将导出所述训练结果的模型作为所述第二神经网络模型。 5.根据权利要求1所述的目标识别跟踪方法， 其特征在于， 获取预设监测区域的视频 流， 并将经过预处理的视频流的画面帧输入至已训练的第一神经网络模型， 得到所述画面 帧中每个目标的目标检测结果的步骤 包括： 通过接入摄像设备以获取到预设监控区域的视频流， 所述视频流的参数包括每秒传帧 数、 每帧的宽度和高度、 像素的一种或多种组合； 初始化跟踪器， 设置相关参数并计算余弦距离度量， 以及设置使用所述跟踪器中的两 帧图片目标之间最大余弦距离， 并控制 相邻目标 特征的计算； 将所述视频流按帧预处理图像画面， 将每帧图片改变至所述第 一神经网络模型处理 的 尺寸， 并根据不同场景调整参数； 将帧画面输入至所述第一神经网络模型， 得到该画面的目标检测结果。权　利　要　求　书 1/3 页 2 CN 115546260 A 26.根据权利要求1所述的目标识别跟踪方法， 其特征在于， 所述将至少一个目标的目标 检测结果输入至已训练的第二神经网络模型以进 行位置预测， 得到目标对应的轨迹信息的 步骤包括： 根据所述目标检测结果创建对应的t rack检测框； 使用所述第 二神经网络模型对所述目标检测结果进行二 次分类， 并将从所述目标检测 结果中提取的目标特征、 目标框坐标、 目标框类别以及置信度转换成输入deepSORT跟踪器 的数据格式； 根据deepSORT跟踪器中的前面帧数检测出的轨迹对创建的track检测框进行位置预 测。 7.根据权利 要求6所述的目标识别跟踪方法， 其特征在于， 所述根据deepS ORT跟踪器 中 的前面帧数检测出的轨 迹对所述t rack检测框进行位置预测的步骤 包括： 基于创建的t rack检测框在t ‑1时刻的位置来预测所述t rack检测框在t时刻的位置； 基于t时刻检测到的位置， 更新与其关联的其他track检测框的位置， 以得到目标对应 的轨迹信息。 8.根据权利要求7所述的目标识别跟踪方法， 其特征在于， 所述基于创建的track检测 框在t‑1时刻的位置来预测所述t rack检测框在t时刻的位置的步骤 包括： 确定所述t rack检测框的位置预测的公式和协方差公式； 其中， 所述t rack检测框的位置预测的公式如下： x′＝Fx； x表示在t ‑1时刻的track检测框对应的目标位置信息的均值， 其由目标边界框的中心 位置坐标(xx,xy)、 宽高比r和高h以及各track检测框对应的速度变化值组成， x ′表示在t时 刻的track检测框对应的目标位置信息的均值， F表示状态转移 矩阵； 该track检测框的位置预测的协方差公式如下： P′＝FPFT+Q； P表示track检测框在t ‑1时刻的协方差矩阵， Q表示系统的噪声矩阵， P ′表示track检测 框在t时刻的协方差矩阵。 9.根据权利要求8所述的目标识别跟踪方法， 其特征在于， 所述基于t时刻检测到的位 置， 校正与其关联的其 他track检测框的位置， 以得到目标对应的轨 迹信息的步骤 包括： 计算所述目标检测结果和t rack检测框的均值的误差值， 其计算公式如下： y＝z‑Hx′； 其中， z表示t rack检测框的均值向量， H表示测量矩阵， y表示 误差值； 更新track检测框的均值向量x和协方差矩阵P， 其更新的计算公式如下： S＝HP′HT+R； x＝x′+P′HTS‑1y； P＝(I‑P′HTS‑1H)P‘； 其中， S表示中间变量， R表示de epSORT跟踪器的噪声矩阵， I表示单位矩阵； 基于更新后的track检测框， 将当前track检测框和与其关联的track检测框进行级联 匹配； 根据所述级联匹配的结果， 输出目标的坐标框位置点以作为该目标的轨 迹信息。权　利　要　求　书 2/3 页 3 CN 115546260 A 3