(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211208332.X (22)申请日 2022.09.30 (71)申请人 长江大学 地址 434023 湖北省荆州市荆州区南环路1 号 (72)发明人 王同喜　许子民　肖一烽　向华　 何黎霞　 (74)专利代理 机构 北京知艺互联知识产权代理 有限公司 16137 专利代理师 孙一方 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/16(2022.01) G06T 7/246(2017.01) (54)发明名称 一种多模态目标重识别方法 (57)摘要 本发明公开了一种多模态目标重识别方法， 通过目标检测模型、 目标跟踪模型、 行为识别模 型、 属性识别模 型以及人脸检测模 型对监控视频 数据库SL进行转换和识别形成多模态目标信息 集MIS， 同时将 目标的特征信息、 属性信息、 行为 信息和时间信息关联在一起， 在目标重识别时， 当进行目标重识别时， 将目标图像输入到特征提 取模块中， 得到待检索目标的特征矩阵WTF， 再对 MIS的特征信息列进行检索， 计算MIS中各目标与 WTF之间的相似度， 确定是否存在对应目标ti， 当 不存在对应目标时， 将待检索目标的多模态信息 作为输入从中MIS检索。 采用上述结构的一种多 模态目标重识别方法， 可 以对海量的视频、 图像 资源进行标准化处理， 降低视频存储的资源消 耗， 有效提高检索效率， 降低人力消耗。 权利要求书1页 说明书3页 附图2页 CN 115527147 A 2022.12.27 CN 115527147 A 1.一种多模态目标重识别方法， 其特 征在于， 具体步骤如下： 步骤S1： 通过多个摄像头采集不同场景下的监控视频， 得到监控视频数据库SL， 利用SL 训练目标检测模型、 目标跟踪模型、 行为识别模型、 属性识别模型以及人脸检测模型； 步骤S2： 通过目标检测模型得到目标序列O＝{o1,o2,...,on}， 同时对检测到的目标oi通 过目标跟踪模型进行跟踪， 直到目标oi超出摄像头的监控范围， 得到目标oi出现的时间范围 得到所有目标在监控视频中出现的时间序列T＝{t1,t2,...,tn}； 步骤S3： 通过 行为识别模型 得到监控视频中各个目标的行为序列B＝{b1,b2,...,bn}； 步骤S4： 将步骤S2中的目标序列O输入到属性识别 模型中得到各个目标的属性序列A＝ {a1,a2,...,an}； 步骤S5： 通过特征提取模块将O中各个目标从图像转换成特征矩阵F＝{f1,f2,...,fn}， 并将每个目标的特征信息、 属性信息、 行为信息和时间信息关联在一起， 形成目标的多模态 信息集MIS＝{I1,I2,...,In}， 其中Ii＝{fi,a2bi,ti}， 当目标为人时， 检测目标通过人脸检测 模型得到面部特 征FF＝{ffi,ff2,...,ffi}， Ii＝{fi,a2bi,ffi,ti}； 步骤S6： 当进行目标重识别时， 将目标图像输入到特征提取模块中， 得到待检索目标的 特征矩阵WTF， 再对MIS的特征信息列进行检索， 计算MIS中各目标与WTF之间的相似度， 确定 是否存在对应目标ti， 当不存在对应目标时， 将待检索目标的多模态信息作为输入从中MIS 检索。 2.根据权利要求1所述的一种多模态目标重识别方法， 其特征在于： 在步骤S2中， 在目 标检测过程中， 对于模糊度高于设定阀值的目标不加入目标序列中， 目标检测模型将场景 中检测到的目标裁 剪出来形成一个图像库， 并将图像库转换为特 征矩阵进行存 储。 3.根据权利要求2所述的一种多模态目标重识别方法， 其特征在于： 在步骤S6中， 在进 行特征提取前， 当图像的模糊度高于设定值时， 通过图像的多模态信息进行作为输入从中 MIS检索， 当图像的模糊度小于等于设定值时， 进行 特征提取， 得到目标的特 征矩阵WTF。 4.根据权利要求3所述的一种 多模态目标重识别方法， 其特征在于： 所述多模态信 息为 目标属性信息或行为信息或其组合。权　利　要　求　书 1/1 页 2 CN 115527147 A 2一种多模 态目标重识别方 法 技术领域 [0001]本发明涉及安防监控技 术领域， 尤其是 涉及一种多模态目标重识别方法。 背景技术 [0002]计算机视觉是一门研究如何使机器 “看”的科学， 更进一步的说， 就是指用摄影机 和电脑代替人眼对目标进 行检测、 识别和跟踪等机器视觉， 并进一步做图形 处理， 用电脑处 理成为更适 合人眼观察或传送给仪器 检测的图像。 [0003]在智能安防、 视频监控等领域， 目前的视频监控技术主要以人工分析为主， 这就造 成了消耗大、 效率低的问题， 因此， 实现智能视频监控已是迫切需求。 智能视频监控利用模 式识别和计算机视觉技术对海量监控视频数据进行处理和分析时， 资源消 耗大， 检索效率 低。 发明内容 [0004]本发明的目的是提供一种多模态目标重识别方法， 可以对海量的视频、 图像资源 进行标准化处理， 降低视频存 储的资源消耗， 有效提高检索效率， 降低人力消耗。 [0005]为实现上述目的， 本发明提供了一种多模态目标重识别方法， 具体步骤如下： [0006]步骤S1： 通过多个摄像头采集不同场景下的监控视频， 得到监控视频数据库SL， 利 用SL训练目标检测模型、 目标跟踪模型、 行为识别模型、 属性识别模型以及人脸检测模型； [0007]步骤S2： 通过目标检测模型得到目标序列O＝{o1,o2,...,on}， 同时对检测到的目 标oi通过目标跟踪模 型进行跟踪， 直到目标oi超出摄像头的监控范围， 得到目标oi出现的时 间范围 得到所有目标在监控视频中出现的时间序列T＝{t1,t2,...,tn}； [0008]步骤S3： 通过行为识别模型得到监控视频中各个目标的行为序列B＝{b1,b2,..., bn}； [0009]步骤S4： 将步骤S2中的目标序列O输入到属性识别模型中得到各个目标的属性序 列A＝{a1,a2,...,an}； [0010]步骤S5： 通过特征提取模 块将O中各个目标从图像转换 成特征矩阵F＝{f1,f2,..., fn}， 并将每个目标的特征信息、 属性信息、 行为信息和时间信息关联在 一起， 形成目标的多 模态信息 集MIS＝{I1,I2,...,In}， 其中Ii＝{fi,a2bi,ti}， 当目标为人时， 检测目标通过人脸 检测模型 得到面部特 征FF＝{ffi,ff2,...,ffi}， Ii＝{fi,a2bi,ffi,ti}； [0011]步骤S6： 当进行目标重识别时， 将目标图像输入到特征提取模块中， 得到待检索目 标的特征矩阵WTF， 再对MIS的特征信息列进行检索， 计算MIS中各目标与WTF之间的相似度， 确定是否存在对应目标ti， 当不存在对应目标时， 将待检索目标的多模态信息作为输入从 中MIS检索。 [0012]优选的， 在步骤S2中， 在目标检测过程中， 对于模糊度高于设定阀值的目标不加入 目标序列中， 目标检测模型将场景中检测到的目标裁剪出来形成一个图像库， 并将图像库 转换为特 征矩阵进行存 储。说　明　书 1/3 页 3 CN 115527147 A 3