(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211124676.2 (22)申请日 2022.09.15 (71)申请人 华东交通大 学 地址 330013 江西省南昌市经济技 术开发 区双港东大街808号 (72)发明人 熊李艳　易虎　丁韦华　邓慧子　 胡竹逸　张雄　 (74)专利代理 机构 南昌华成联合知识产权代理 事务所(普通 合伙) 36126 专利代理师 黄晶 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于空间金字塔注意力网络的人群计 数方法 (57)摘要 本申请涉及一种基于空间金字塔注意力网 络的人群计数方法， 它包括以下步骤： 获取的人 群图像数据集， 使用高斯核对人群图像进行预处 理， 生成地面真实密度图； 选取拥挤场景识别算 法CSRNet为基础结构， 构建 空间金字塔注意力网 络； 将获取的人群计数数据集中不同分辨率的人 群图像和对应的人群密度图输入到空间金字塔 注意力网络进行训练验证， 输出对应的估计密度 图， 并计算与输入网络的地面真实人群密度图之 间的损失， 得到优化后的空间金字塔注意力网 络； 将训练好的网络权重进行保存， 并使用测试 样本集进行测试， 判断网络效果。 本发明能够有 效解决尺度剧烈变化和严重遮挡问题， 并引入注 意力信息， 实现不同拥挤场景下准确的人群计 数。 权利要求书3页 说明书12页 附图6页 CN 115424209 A 2022.12.02 CN 115424209 A 1.一种基于空间金字塔注意力网络的人群 计数方法， 其特 征在于， 包括以下步骤： S1： 获取的人群图像数据集， 将获取的人群图像数据集划分为训练集和测试集， 并针对 获取的人群图像数据集的特点， 使用高斯核对人群图像进行 预处理， 生成地 面真实密度图； S2： 选取拥挤场景识别算法CSRNet为基础结构， 构建空间金字塔注意力网络； S3： 将S1获取的人群计数数据集的训练集中不同分辨率的人群图像和对应的人群密度 图输入到空间金字塔注意力网络进行训练验证， 输出训练样本集对应的估计密度图， 再计 算与输入网络的地面真实人群密度图之 间的损失， 更新网络参数， 确定迭代次数， 得到优化 后的空间金字塔注意力网络； S4： 将S3训练好的网络权重进行保存， 再对S1获取的人群计数数据集中对应的测试样 本集进行测试， 输出测试样本集对应的人群密度图和预测值， 判断网络效果。 2.根据权利要求1所述的一种基于空间金字塔注意力网络的人群计数方法， 其特征在 于， 所述步骤S1中获取的人群图像数据集中包括原始图片和标注文件， 通过标注文件， 使用 高斯核对人群图像进行 预处理， 生成地 面真实密度图； 具体方法为： S11： 当有 一个人头位置在像 素点， 则将该人头位置进行标注， 并记为xi， 标注有N个人的 头部位置的图像J(x)可表示 为函数式： 其中， δ(x ‑xi)表示增量函数， x表示图像中像素的位置， i表示第i个人头标注点， N表示 图像中人头标注点的数量， xi表示第i个人头标注点的位置； S12： 通过高斯核模糊每个人头标注来生成对应的真实密度图Dgt， 即将增量函数δ(x ‑ xi)与标准偏差为σi的高斯核函数进行 卷积计算， 真实密度图Dgt的具体计算公式为： 其中， 表示高斯核 函数， β 表示 常数， 表示图像中第i个 人头标注点距 离其k近邻 人头标注点的欧式距离的平均值； 针对拥挤程度不同的人群图像数据集， 采用标准偏差不同的高斯核函数进行卷积计 算； 对于稀疏场景的人群计数数据集， 使用固定高斯核生 成密度图， 对于密集场景的人群计 数数据集， 使用几何自适应高斯核生成密度图。 3.根据权利要求2所述的一种基于空间金字塔注意力网络的人群计数方法， 其特征在 于， 所述S12中几何自适应高斯核选定标准偏差的方式为： 取β ＝0.3， k＝3， 计算标准偏差σi 的值。 4.根据权利要求1所述的一种基于空间金字塔注意力网络的人群计数方法， 其特征在 于， 所述步骤S2的具体方法如下： S21： 搭建拥挤场景识别算法CSRNet的结构， 选取预先训练好的VGG ‑16的前10个卷积 层， 作为前端 特征提取网络， 采用空洞率为2的6层空洞卷积层为后端网络， 最后采用一层卷 积核大小为1 ×1的普通卷积层输出 结果； S22： 构建空间金字塔网络来应对连续的尺度变化， 并将空间金字塔网络添加到步骤权　利　要　求　书 1/3 页 2 CN 115424209 A 2S21搭建的拥挤场景识别算法CSRNet的前端特 征提取网络和后端网络之间； S23： 构建通道注意力网络来处理通道维度上特征信息的相互依赖关系， 并将通道注意 力网络添加 到步骤S22构建 的空间金字塔网络和步骤S21搭建的拥 挤场景识别算法CSRNet 的后端网络之间。 5.根据权利要求4所述的一种基于空间金字塔注意力网络的人群计数方法， 其特征在 于， 所述步骤S21采用空洞率为2的6层空洞卷积层为后端网络， 所述后端网络使用的二 维空 洞卷积定义 为： 其中， y(l,m)表示来自输入τ(l,m)和滤波器ρ(e,f)的二维空洞卷积的输出， r表示空洞 率， L为空洞的卷积层的长度， M为空洞的卷积层的宽度， e的取值为1～L， 表示第e行， f的取 值为1～M， 表示第f列。 6.根据权利要求4所述的一种基于空间金字塔注意力网络的人群计数方法， 其特征在 于， 所述步骤S3输出估计密度图的具体方法如下： S31： 将不同分辨率的人群图像输入到步骤S21搭建的拥挤场景识别算法CSRNet的前端 特征提取网络， 提取输入的人群图像的浅层特 征； S32： 将步骤S31提取的浅层特征输入到步骤S22构 建的空间金字塔网络中， 通过将步骤 S31提取的浅层特征分组为大小分别为 1、 3、 5、 7的四个并行块， 以提取不同尺度的上下文 特 征， 并将提取 的上下文特征再通过上采样恢复到与输入的浅层特征相同的维度， 然后将四 个分支提取 的上下文特征融合在一起形成融合特征； 同时， 将 融合特征与输入的浅层特征 相结合， 得到多尺度上 下文特征Mj， 具体公式为： Mj＝Up(Fj(Pa(Fvgg(I),j), θj))+Fvgg(I) 其中， Fvgg表示对输入图像I进行编码的VGG ‑16网络的前10层； Pa(Fvgg(I),j)表示平均池 化， 即输入的浅层特征Fvgg(I)被划分为大小分别为k(j) ×k(j)的块， 对应的块大小k(j)∈ (1,3,5,7)， Fj是一个核大小为1 ×1的卷积网络， 用于在 不改变通道维度的情 况下跨通道融 合上下文特征； Up表示双线性插值， 用于将 上下文特征数组上采样到与Fvgg(I)相同的大小； θj表示卷积核的参数， j为尺度； S33： 使用步骤S23构建的通道注意力网络对步骤S32获取具有多尺度上下文特征的特 征图进行处理， 以捕获该输入特征图中的重要通道， 抑制不必要通道中的信息； 对于输入特 征图 其中 为X的大小， W、 H和C分别表示输入特征图X的宽度、 高度和通 道维度， 先将输入特 征图X进行全局平均池化， 具体公式为： 其中， g(X)为通道全局平局池化， Xab表示输入特征图X上坐标(a,b)处的值， a的取值是1 ～W， 表示第a行， b的取值是1～H， 表示第b列； 随后通过可权重共享的1D卷积进行学习， 得到通道的权重， 其中1D卷积的内核大小为 γ， 即1D卷积涉及的参数量， 具体公式为： Wc＝σs(CIDγ(g(X)))权　利　要　求　书 2/3 页 3 CN 115424209 A 3