(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210263940.4 (22)申请日 2022.03.16 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号哈尔滨理工大 学 (72)发明人 沈子荷　崔鹏　李哲阳　 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制的行 人重识别方法 (57)摘要 本申请实施例公开了一种基于注意力机制 的行人重识别方法， 包括： 空间注意力与通道注 意力相结合的全局注意力模块， 学习特征之间的 关系从而获取更加全面的行人特征； 金字塔卷积 模块将网络中每层学习到的特征进行融合， 充分 提高浅层信息的利用率， 浅层信息与深层信息的 结合能够更加丰富行人信息， 从而提高网络的鲁 棒性； 局部分割模块将行人特征平均分成若干 块， 使网络更加关注行人局部信息， 更加有效的 学习行人部分区域的某些局部特征。 本方法与其 它行人重识别方法相比， 将注 意力机制与金字塔 卷积相结合， 充分利用行人的浅层信息和深层信 息， 提高行人的判别性特征， 从而提高网络的泛 化能力。 权利要求书1页 说明书5页 附图2页 CN 114639120 A 2022.06.17 CN 114639120 A 1.一种基于注意力机制的行 人重识别方法， 其特 征在于， 包括以下步骤： 一个空间注意力与通道注意力相结合的全局注意力模块， 学习特征之间的关系从而获 取更加全面的行 人特征； 金字塔卷积模块， 将网络中每层学习到的特征进行融合， 充分提高浅层信息的利用率， 浅层信息与深层信息的结合能够更加丰富行 人信息， 从而提高网络的鲁棒 性； 局部分割模块， 将行人特征平均分成若干块， 使网络更加关注行人局部信息， 更加有效 地学习行 人部分区域的某些局部特 征； 损失函数采用三元组损失与ID损失相结合的方法对 网络参数进行更新， 利用训练集得 到最终的网络模型； 将gallery中的行人图片输入到训练好的模型中， 通过网络的学习得到行人特征， 并且 得到行人的身份信息， 将这些 特征与身份信息保存； 把query中的行人图像输入到模型中， 网络对其学习， 并且得到相应的行人特征， 在 gallery中进行检索， 分别 计算query和gallery图像之间的相似度， gallery中相似度最高 的图片最有可能与query中的图片ID相同； 采用平均精度均值mAP和累积匹配特 征曲线CMC curve来评估 模型效果。 2.如权利要求1所述的方法， 其特征在于， 所述的空间注意力与通道注意力相结合的全 局注意力模块， 具体步骤如下： 行人图片经 过ResNet5 0处理后得到特 征向量X∈RC×H×W； 从空间角度考虑， 分别计算每个特征点之间的关系， 并将结果用矩阵形式表示， 然后与 原特征相结合， 再 经过Sigmoid函数处 理得到特 征权重； 从通道角度考虑， 分别计算每个特征点之间的关系， 并将结果用矩阵形式表示， 然后与 原特征相结合， 再 经过Sigmoid函数处 理得到特 征权重； 将空间注意力与通道 注意力并行放入网络， 两者结合得到全局注意力模块。 3.如权利要求1所述的方法， 其特 征在于， 所述的金字塔卷积模块， 具体步骤如下： 将ResNet50网络中的layer1、 layer2、 layer3处理得到的行人特征输入到金字塔卷积 模块中； 同样将对layer4的行人特征进行重新分配的特征， 即全局注意力模块处理后的结果输 入到金字塔卷积模块中； 将四个不同层处理得到的行人特征分别放入金字塔卷积模块之后， 利用不同尺度 卷积 核得到行 人不同尺度的信息； 将行人特征进行融合， 将金字塔卷积模块输出的结果传送到主干网络中。权　利　要　求　书 1/1 页 2 CN 114639120 A 2一种基于注意力机制的行人重识别方 法 技术领域 [0001]本申请实施例涉及计算机视觉图像处理技术领域， 具体涉及一种基于注意力机制 的行人重识别方法。 背景技术 [0002]行人重识别是计算机视觉中的一个领域， 近几年被研究人员广泛关注而 成为重要 研究内容。 它 是对跨摄像头中的图像进行学习并提取特征， 然后匹配相同行人身份的一项 技术。 具体来说， 给定一张行人图片， 要求在数据集中计算出与其身份相同的概率值并排 序， 概率越大表示身份与其越相似。 目前行人重识别被应用在一些大型公共场所中， 例如车 站、 机场、 医院等。 随着行人重识别技术逐渐应用在实际场所中， 因此对其的识别性能要求 也越来越高， 随之而来的问题也逐渐增加： 摄像头分辨率的不同会直接影响到最终的识别 效果； 另外摄像头的安装位置在一定程度上也会导致出现不同的结果； 当行人 的姿态出现 变化时， 系统可能不能正确识别出行人的真实身份； 行人被车辆、 标志或者其他行人遮挡 时， 由于缺少行人 的上下文信息， 也可能会导致系统的识别错误。 从上述问题来看， 目前行 人重识别仍然是一项极具挑战的任务。 [0003]为了解决行人重识别出现的问题， 我们可以通过引入全局注意力模块来重新调整 行人特征的权重， 增强重要特征权重， 抑制非重要 特征权重， 同时通过金字塔卷积提取浅层 和深层融合后更加全面、 丰富的信息， 得到行 人更具判别性的特 征。 发明内容 [0004]为此， 本申请实施例公开了一种基于注意力机制的行人重识别方法， 本方法包括 空间注意力与通道注意力相结合的全局注意力模块、 金字塔卷积模块和局部分割模块。 空 间注意力与通道注意力相结合的全局注意力模块， 学习特征之 间的关系从而获取更加全面 的行人特征； 金字塔卷积模块将网络中每层学习到的特征进行融合， 充分提高浅层信息的 利用率， 浅层信息与深层信息的结合能够更加丰富行人信息， 从而提高网络的鲁棒性； 局部 分割模块将行人特征平均分成若干块， 使网络更加关注行人局部信息， 更加有效的学习 行 人部分区域的某些局部特征。 损失函数采用三元 组损失与ID损失相结合的方法对网络参数 进行更新， 利用训练集得到最终的网络模 型。 将gallery中的行人图片 输入到训练好的模 型 中， 通过网络的学习得到行人特征， 并且得到行人的身份信息， 将这些特征与身份信息保 存。 把query中的行人图像输入到模 型中， 网络对其学习得到相应的行人特征， 在gallery中 进行检索， 分别计算query和gallery图像 之间的相似度， gallery中相似度最高的图片最有 可能与query中的图片ID相同。 [0005]为了实现上述目的， 本申请实施例提供如下技 术方案： [0006]根据本申请实施例， 提供了一种基于注意力机制的行 人重识别方法， 包括： [0007]一个空间注意力与通道注意力相结合的全局注意力模块， 学习特征之间的关系从 而获取更加全面的行 人特征；说　明　书 1/5 页 3 CN 114639120 A 3