(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210824363.1 (22)申请日 2022.07.14 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 赵磊　谢志军　陈科伟　辛宇　 俞建成　江先亮　 (74)专利代理 机构 宁波奥圣专利代理有限公司 33226 专利代理师 方小惠 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于无人机的人群计数和定位的混合 监督方法 (57)摘要 本发明公开了一种基于无人机的人群计数 和定位的混合监督方法， 通过在模型HACL中， 分 别对特征图4、 特征图3和特征图2分别使用不同 膨胀率组合的第二特征融合单元、 第三特征融合 单元和第四特征融合单元， 使得目标能够和周围 的环境建立联系而不是和全局建立联系， 对第一 密度图预测分支、 第二密度图预测分支、 第三密 度图预测分支和第四密度图预测分支设计密度 图分支损失函数， 从而使得模型HA CL的第二密度 图预测分支输出的预测密度图能够更加精确， 对 第二密度图预测分支输出的预测密度图分别使 用第一密度图注意力单元和第二密度图注意力 单元， 能够在大视野下突出特征图中小目标所在 的区域特征； 优点是人群计数精度和定位精度均 较高。 权利要求书9页 说明书17页 附图1页 CN 115311614 A 2022.11.08 CN 115311614 A 1.一种基于无 人机的人群 计数和定位的混合 监督方法， 其特 征在于包括以下步骤： 步骤1、 准备 数据集， 具体过程 为： S1.1、 使用无人机拍摄K张含有行人的图片， 每张图片的尺寸大小为1920*1080， 并对K 张图片按照1 ‑K进行编号， 编号为k的图片为第k张图片， k＝1， 2， …， K， 其中， K为大于2000的 整数； S1.2、 对K张图片分别进行 预处理， 具体处 理过程为： 以第k张图片的左上角作为坐标原点， 原点向右方向作为x轴正半轴， 原点向下方向作 为y轴正半轴， 建立直角坐标系， 将第k张图片 中每个行人 的头部的中心点作为该行人 的坐 标， 将第k张图片中第i个行人的坐标记为pki， pki＝(xki， yki)， i＝1， 2， …mk， mk表示第k张图 片中行人的总数量， xki表示第k张图片中第i个行人的x轴坐标， yki表示第k张图片中第i个 行人的y轴坐标， 第k张图片的坐标点 集合记为Pk， Pk＝{pki|i＝1， 2，…mk}； S1.3、 使用MCNN提出的自适应的密度图生成方案分别对K张图片的坐标点集合进行转 换， 得到每张图片的密度图， 此时得到K张图片的密度图， 采用K张图片、 K张图片的坐标点集 合以及K张图片的密度图构成数据集， 数据集中每张图片、 每张图片的坐标点集合和每张图 片的密度图作为 一个样本； S1.4、 按照训练集样本数:验证集样本数＝3:1， 对数据集 中的样本进行划分， 得到训练 集和验证集， 如果数据集中样本总数量 不能被4整除， 则将多余的样本放到验证集中； 步骤2、 构建模型HACL(A  Hybrid Framework  of Point and Heatmap for Crowd  Counting  and Localization  based on UAV)， 所述的模型HACL包括特征提取器 EfficientNetV2、 特征融合层、 密度图分支、 分类分支、 回归分支、 预测点生成模块、 匈牙利 算法匹配模块、 目标置信度生成模块、 分类分支损失函数、 回归分支损失函数和总损失函 数； 所述的特征提取器EfficientNetV2用于对通道为3， 高为h， 宽为w的图像进行特征提取 生成5个特征图， 5个特征图分别 为通道为24、 高为h/2、 宽为w/2的特征图1， 通道为48、 高为 h/4、 宽为w/4的特征图2， 通道为64、 高为h/8， 宽为w/8的特征图3， 通道为128、 高为h/16、 宽 为w/16的特 征图4和通道为25 6、 高为h/32、 宽为w/32的特征图5； 所述的特征融合层包含第 一特征融合单元、 第 一特征拼接单元、 第二特征融合单元、 第 二特征拼接单元、 第三特征融合单元和第四特征融合单元； 所述的第一特征融合单元包含 第一卷积层、 第二卷积层、 第三卷积层和第一2倍上采样层， 所述的第一卷积层的卷积核大 小为1、 填充为0、 步长为1， 所述的第一卷积层用于接入所述的特征提取器E fficientNetV2 输出的特征图5， 并对其进行卷积处理， 输出通道 为128、 高为h/32、 宽为w/32的特征图； 所述 的第二卷积层的卷积核大小为3、 填充为1、 步长为1， 所述的第二卷积层用于接入所述的第 一卷积层输出的特征图， 并对其进行卷积处理， 输出通道为 128、 高为h/32、 宽为w/32的特征 图； 所述的第三卷积层的卷积核 大小为3、 填充为 1、 步长为 1， 所述的第三卷积层用于接入 所 述的第二卷积层输出的特征图， 并对其进行卷积处理， 输出通道 为128、 高为h/32、 宽为w/32 的特征图； 所述的第一2倍上采样层用于接入所述的第三卷积层输出的特征图， 并对其使用 最近邻插值进行2倍上采样处理， 输出通道为128、 高为h/16、 宽为w/16的特征图； 所述的第 一特征拼接单元采用卷积核大小为1、 填充为0、 步长为1的卷积层实现， 所述的第一特征拼 接单元用于接入所述的第一2倍上采样层输出的特征图和所述的特征提取器权　利　要　求　书 1/9 页 2 CN 115311614 A 2EfficientNetV2输出的特征图4， 并先将两张特征图在通道维度进行拼接得到拼接特征图， 然后对此时得到的拼接特征图进行卷积处理， 输出通道为128、 高为h/16、 宽为w/16的特征 图； 所述的第二特征融合单元包含第四卷积层、 第五卷积层、 第六卷积层、 第七卷积层和第 二2倍上采样层， 所述的第四卷积层的卷积核大小为3、 填充为1、 步长为1、 膨胀率为1， 所述 的第四卷积层用于接入所述的第一特征拼接单元输出 的特征图， 并对其进行卷积处理， 输 出通道为128、 高为h/16、 宽为w/16的特征图； 所述的第五卷积层的卷积核大小为3、 填充为 2、 步长为1、 膨胀率为2， 所述的第五卷积层用于接入所述的第一特征拼接单元输出的特征 图， 并对其进行卷积处理， 输出通道为128、 高为h/16、 宽为w/16的特征图； 所述的第六卷积 层的卷积核大小为1、 填充为0、 步长为1， 所述的第六卷积层用于接入所述的第四卷积层输 出的特征图和所述的第五卷积层输出的特征图， 并将所述的第四卷积层输出的特征图和所 述的第五卷积层输出的特征图在通道维度先进行拼接得到拼接特征图， 然后对此时得到的 拼接特征图进行卷积处理， 输出为通道 为128， 高为h/16， 宽为w/16的特征图； 所述的第七 卷 积层的卷积核大小为3、 填充为1、 步长为1， 所述的第七卷积层用于接入所述的第六卷积层 输出的特征图， 并对其进行卷积处理， 输出为通道为128， 高为h/16， 宽为w/16的特征图； 所 述的第二2倍上采样层用于接入所述的第七卷积层输出 的特征图， 并对其使用最近邻插值 进行2倍上采样处理， 输出为通道为128， 高为h/8， 宽为w/8的特征图； 所述的第二特征拼接 单元采用卷积核大小为1、 填充为0、 步长为1的卷积层实现， 所述第二特征拼接单元用于接 入所述的第二2倍上采样层输出的特征图和所述的特征提取器EfficientNetV2输出的特征 图3， 并先将所述的第二2倍上采样层输出的特征图和所述的特征提取器EfficientNetV2输 出的特征图3在通道维度进行拼接得到拼接特征图， 然后对此时得到的拼接特征图进行卷 积处理， 输出通道 为128， 高为h/8， 宽为w/8的特征图； 所述的第三特征融合单元包含第八卷 积层、 第九卷积层、 第十卷积层、 第十一卷积层和第十二卷积层， 所述的第八卷积层的卷积 核大小为3、 填充为1、 步长为1、 膨胀率为1， 所述的第八卷积层用于接入所述的第二特征拼 接单元输出的特征图， 并对其进行卷积处理， 输出通道为128， 高为h/8， 宽为w/8的特征图； 所述的第九卷积层的卷积核大小为3、 填充为2、 步长为1、 膨胀率为2， 所述的第九卷积层用 于接入所述的第二特征拼接单元输出的特征图， 并对其进行卷积处理， 输出通道为128， 高 为h/8， 宽为w/8的特征图； 所述的第十卷积层的卷积核大小为3、 填充为5、 步长为1、 膨胀率 为5， 所述的第十卷积层用于接入所述的第二特征拼接单元输出的特征图， 并对其进 行卷积 处理， 输出通道 为128， 高为h/8， 宽为w/8的特征图； 所述的第十一卷积层的卷积核大小为1、 填充为0、 步长为 1， 所述的第十一卷积层用于接入所述的第八卷积层输出的特征图、 所述的 第九卷积层输出的特征图和所述的第十卷积层输出的特征图， 并先将所述