(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524755.6 (22)申请日 2022.05.13 (71)申请人 南京博雅 集智智能技术有限公司 地址 210000 江苏省南京市江宁经济技 术 开发区将军大道37号 (72)发明人 鞠蓉　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 潘霞 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种非机动车 行人重识别方法和系统 (57)摘要 本发明公开了一种非机动车行人重识别方 法和系统， 包括以下步骤： 根据同一场景不同摄 像头下的监控视频构建非机动车行人重识别数 据集； 对所述的非机动车行人重识别数据集进行 人体检测得到局部人体图像， 并对全局图像特征 和局部人体图像进行预处理； 使用预处理后的全 局图像特征和局部人体图像对预设的非机动车 行人重识别网络模型进行训练； 使用训练后的非 机动车行人重识别网络模型对待识别目标图像 进行特征提取。 本发明为了充分利用全局图像和 局部人体图像得到全局特征和局部特征， 使用预 处理后的全局行人图像和局部人体图像训练非 机动车行人重识别模型， 采用特征融合模块自适 应为全局特征和局部特征分配权重， 解决非机动 车行人重识别问题。 权利要求书3页 说明书8页 附图2页 CN 115205890 A 2022.10.18 CN 115205890 A 1.一种非机动车 行人重识别方法， 其特 征在于： 包括以下步骤， 步骤一： 根据同一场景不同摄 像头下的监控视频构建非机动车 行人重识别数据集； 步骤二： 根据 预训练的人体检测器对所述的非机动车行人重识别数据集进行人体检测 得到局部人体图像， 并对 全局图像特 征和局部人体图像进行 预处理； 步骤三： 使用所述步骤二过程预处理后的全局图像特征和局部人体图像对预设的非机 动车行人重识别网络模型进行训练； 步骤四： 使用训练后的非机动车行人重识别网络模型对待识别目标图像进行特征提 取。 2.根据权利要求1  所述的非机动车行人重识别方法， 其特征在于： 所述步骤一过程中， 构建所述非机动车 行人重识别数据集分为四个步骤： （1） 首先选取同一场景不同摄像头下的监控视频， 采用在线检测跟踪模型TraDes对监 控视频中的行人和骑着非机动车的行人目标进行检测跟踪， 得到每个监控视频中的目标框 信息和轨 迹信息； （2） 然后采用预训练的resnet5 0深度学习网络模型提取 所有检测到的目标 特征； （3） 通过 无监督方法infomap对所有目标进行聚类， 用于关联跨摄 像头下的同一目标； （4） 最后再进行 人工校准， 构建最终的非机动车 行人重识别数据集。 3.根据权利要求2  所述的非机动车行人重识别方法， 其特征在于： 所述非机动车行人 重识别网络模型采用三个模型相互配合， 包括： 全局图像特征提取模块、 局部注意力模块以 及特征融合模块。 4.根据权利要求3所述的非机动车行人重识别方法， 其特征在于： 所述步骤四过程中， 将待查询目标图像作为 非机动车行人重识别网络模型的输入， 分别学习目标的全局图像特 征和局部人体特征， 并自适应为全局图像特征和局部人体特征分配权重， 将全局图像特征 和局部人体特征进行融合作为目标最 终的特征描述符； 对候选图库中的所有图片进行相同 的操作步骤获取其特征描述符， 计算查询图片和候选库中所有图片的特征 的余弦距离， 并 对距离进行排序， 从候选库中选取 出与查询距离相似度最高的目标作为 最终的识别结果。 5.根据权利要求1~4 任一所述的非机动车行人重识别方法， 其特征在于： 所述步骤二 的人体检测器为yolov5 s检测器， 预 处理的具体操作为： 将所有训练和测试的原图像和检测 到的局部人体图像大小均调整为384 ×128； 然后通过随机水平翻转、 随机擦除、 随机裁剪和 图像像素值的归一 化， 随机增 加一些遮挡 、 旋转的样本来增强训练数据。 6.根据权利要求3所述的非机动车行人重识别方法， 其特征在于： 所述全局图像特征提 取模块选取MGN作为基础骨架， 输入的全局图像经过MGN后得到全局图像特征； 局部注意力 模块既包括通道注意力机制也包括空间注意力机制， 输入的局部人体图像经过局部注意力 模块后得到局部特征； 特征融合模块的核心思想是根据输入图片是否骑车决定给与全局图 像特征和局部特征不同的权重， 其中， 若判别目标是骑行人， 则给与局部特征更高的权重， 反之则给与全局图像特 征较高的权 重； 其中， 所述全局行人特征提取网络采用的MGN是一个多分支的深度网络， 同时结合了全 局图像特征和多粒度局部特征； 一个分支用于提取全局图像特征， 负责提取共有的特征； 然 后将图像划分成N个条带， 不同的N表示不同的粒度， 负责不同层次或者不同级别特征 的提 取， N越大粒度越细， 分别用两个分支负责多粒度局部特征提取； 所述局部注意力模块采用权　利　要　求　书 1/3 页 2 CN 115205890 A 2的是层级注意力网络 HAN； 所述特征融合模块是一个自适应注意模块， 通过区分输入类型来确定全局和局部特征 的权重， 且该自适应注意力模块会通过判别是否是骑行人来决定是否给局部特征赋予更大 的权重。 7.根据权利要求6  所述的非机动车行人重识别方法， 其特征在于： 所述步骤三过程中 具体的训练方式为： 首先将全局图像特征 输入到一个简单的二分类网络， 得到一个B ×2的特征 ， 根据 赋予全局图像特征和局部人体特征的权重， 若判别目标是骑行人， 则 其局部人体部分应获取 更高的关注， 最后， 我们将全局图像特 征和局部人体特 征进行融合：  +  其中， 和 分别表示全局图像特征和局部特征， 特征 最终用于非机动车行人重识 别； 为了让网络具备更佳的识别能力， 同时使用了用于分类的交叉熵损失函数和用于度量 学习的三元损失函数作为训练过程的损失函数： 其中， 表示交叉熵损失， 表示三元组损失， 和 分别表示两种损失函数的权重， 交 叉熵损失函数表示 为： 其中 表示最小批处 理的图片数目， 表示特征 的类别， C表示类别数目； 三元组损 失其中的三元分别表示锚点样本、 负样本和正样本， 其中锚点样本为训练数 据集中随机选取 的一个样本， 正样本和锚点样本属于同一类， 负样本和锚点样本属于不同 类， 三元组损失函数学习的目的是为了使得同类的类内差距趋于最小， 而不同类的类间差 距趋于最大， 其损失函数 可以表示 为： 其中， 表示边缘超参数， 、 和 分别表示锚点样本特 征、 正样本特 征和负样本特征。 8.一种应用于权利要求1 ‑7任一所述的非机动车行人重识别方法的系统， 其特征在于： 该系统包括： 样本获取 单元、 数据处 理单元、 模型训练单 元、 以及模型应用单 元； 其中， 所述样本获取单元用于根据同一场景不同摄像头下的监控视频构建非机动车行 人重识别数据集， 所述数据处理单元用于根据预训练的人体检测器对所述的非机动车行人 重识别数据集进行人体检测， 并对全局图像和局部人体图像进行预处理， 所述模型训练单 元用于使用预处理后的全局行人图像和局部人体图像对预设的非机动车行人重识别网络 模型进行训练， 所述模型应用单元用于使用训练后的非机动车行人重识别网络模型对待识权　利　要　求　书 2/3 页 3 CN 115205890 A 3