(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210118669.5 (22)申请日 2022.02.08 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 熊炜　刘粤　许婷婷　田紫欣　 强观臣　陈奕博　万相奎　陈云帆　 尚萍萍　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01)G06V 10/80(2022.01) (54)发明名称 一种双金字塔结构引导的多粒度行人重识 别方法及系统 (57)摘要 本发明公开了一种双金字塔结构引导的多 粒度行人重识别方法及系统， 首先在ResNet 50中 嵌入注意力金字塔， 引导网络由粗到细依次挖掘 不同粒度的特征， 使网络更倾向于关注复杂环境 中行人的显著区域； 其次通过结构不对称的双重 注意力特征金字塔 分支， 以提取多尺度的行人特 征， 丰富特征的多样性， 同时双重注意力机制可 使分支从浅层信息中捕获高细粒度的局部特征； 最后将粒度较粗的全局特征与多层级细粒度的 局部特征融合， 两种金字塔相互作用， 以此获得 更多具有鉴别性的多粒度特征， 以改善行人遮挡 问题。 本发明仅通过较少的计算量， 便可有效地 解决杂乱场景下难以提取行人关键信息和局部 遮挡时全局特征方法失效而造成识别精度不高 的问题。 权利要求书3页 说明书6页 附图2页 CN 114627492 A 2022.06.14 CN 114627492 A 1.一种双金字塔结构引导的多粒度行 人重识别方法， 其特 征在于， 包括以下步骤： 步骤1： 构建双金字塔结构网络模型； 所述双金字塔结构网络模型， 由嵌入注意力金字塔的骨干网络AP ‑ResNet50、 全局分支 网络Global Branch和双重注意力特 征金字塔分支网络DFP  Branch三个部分组成； 所述嵌入注意力金字塔的骨干网络AP ‑ResNet50， 是将APNet注意力金字塔添加到 ResNet50的四个残差块之后而构成； 所述全局分支网络Global  Branch， 由广 义平均池化层和归一化处理层构成， 其输入为 所述嵌入注意力金字塔的骨干网络AP ‑ResNet50的输出； 所述双重注意力特征金字塔分支网络DFP  Branch， 其中第一分支由三个conv1  block 层和设置与第一个conv1  block层和第二个conv1  block层之间的SA ‑DAM双重注意力机制 层组成， 其输入为所述嵌入注意力金字塔的骨干网络AP ‑ResNet50第二残差块Layer2的输 出； 其中第二分支由4个conv3  block层组成， 其输入为所述嵌入注意力 金字塔的骨干网络 AP‑ResNet50第三残差块Layer3的输出； 所述第一分支的输出输入所述第二分支第三个 conv3 block层中， 所述第二分支输出， 将经过广义平均池化层处理后的输出与所述全局分 支网络Global  Branch中广义平均池化层处理后的输出进行融合操作， 从而得到更具鉴别 性的多粒度特 征； 步骤2： 训练所述双金字塔结构网络模型， 获得训练好的双金字塔结构网络模型； 步骤3： 将待识别图像输入所述训练好的双金字塔结构网络模型， 进行多粒度行人重识 别。 2.根据权利要求1所述的双金字塔结构引导的多粒度 行人重识别方法， 其特征在于： 步 骤1中， 所述APNet注意力金字塔， 通过 “拆分‑关注‑合并‑堆叠”四步操作逐级实现， 首先通 过骨干网络的残差块提取特征F， 再通过注意力金字塔来提取特征F上多尺度的显著区域； 拆分操作时以特征图F作为输入， 被拆分数在金字塔层中呈指数增长， 金字塔层数越高， 特 征粒度越细； 特征图F被拆分成多组子通道注意力后作为通道注意力的输入， 来挖掘每个特 征张量中具有判别性的信息； 再将所有组子注意力模块以拆分操作的逆过程进行合并， 从 而得到完整且尺度相同的注意力图。 3.根据权利要求1所述的双金字塔结构引导的多粒度 行人重识别方法， 其特征在于： 步 骤1中， 所述双重注意力特征金字塔分支网络DFP  Branch， conv3  block层除采用的是3 ×3 的卷积之外， 其 余结构与co nv1 block层一致。 4.根据权利要求1所述的双金字塔结构引导的多粒度 行人重识别方法， 其特征在于： 步 骤1中， 所述双重注意力特征金字塔分支网络DFP  Branch， 第一分支的第一个conv1  block 与第三个conv1  block相连； 第二 分支的第一个conv3  block与第三个conv3  block相连， 用 于执行下采样操作。 5.根据权利要求1所述的双金字塔结构引导的多粒度 行人重识别方法， 其特征在于： 步 骤1中， 所述SA ‑DAM双重注意力机制层， 由Self ‑Attention模块与APNet注意力金字塔进行 并行连接构成； 其中Self ‑Attention机制基于位置注意力模块实现， 若输入特征X∈RH×W×C， H、 W和C分别表示特征图的高与宽和通道数； 将每个位置的特征X通过1 ×1卷积映射并重塑 至两个较低维度的子空间上， 从而得到 和 其中S＝H ×W， 表示特征空间的权　利　要　求　书 1/3 页 2 CN 114627492 A 2大小， r是用于调节子空间维度的超参数； 则X的注意力表达式如下： Xp＝Vσ(A)＝Vσ(QTK)； 其中σ(·)表示Softmax函数， 是特征X在两个较低维度子空间上的 恒等映射， V∈RC×S是特征X的另一个恒等映射； A为位置亲和矩阵； 将位置亲和矩阵A视为格 拉姆矩阵， 以衡量X不同位置特征之间的关联性； 同时使特征X输入金字塔层数为2的APNet 注意力金字塔， 将特征X进 行多次拆分后以便于本注意力模块关注高细粒度特征， 再通过合 并与堆叠来引导网络渐进地关注显著信息， 最后将其得到的特征与Self ‑Attention模块输 出的特征使用Co ncat操作进行融合， 以此获得 更具判别性的细粒度特 征。 6.根据权利要求1 ‑5任意一项所述的双金字塔结构引导的多粒度行人重识别方法， 其 特征在于： 步骤2中， 通过损失函数对训练过程进行监督， 采用三元组难样本挖掘损失和标 签平滑损失进行 联合训练； 定义三元组难样本挖掘 损失函数TriHard  loss为： 其中， TriHar d loss是在每一个训练的批次batch中随机选取出N个行人ID， 且每个ID 挑选E张不同的图片； 之后对于batch中的每一张图片a， 将a与挑选的一个最难正样 本b和一 个最难负样本n组成一个三元组， 设置阈值为β； 其中B表示为和a为相同ID的图片集， D为剩 下的不同ID图片集； 定义标签平 滑损失函数为： 其中， G为总的行人数量， m是行人标签， ε是给定的错误率， 是真伪标签， 是网络预 测该行人属于标签 行人的概率； 则总损失函数为： Ltotal＝Lth+Lce_ls； 7.根据权利要求6所述的双金字塔结构引导的多粒度 行人重识别方法， 其特征在于： 所 述双金字塔结构网络模型识别效果， 采用评价指标包括Ran k‑1、 mAP和平均逆负处罚mI NP； 所述平均逆负处罚mI NP为： 其中 表示最难匹配样本的排名， | Ud|表示查询第d个图像的所有正确匹配样本数。 8.一种双金字塔结构引导的多粒度行 人重识别系统， 其特 征在于， 包括以下模块： 模块1， 用于构建双金字塔结构网络模型；权　利　要　求　书 2/3 页 3 CN 114627492 A 3