(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210863953.5 (22)申请日 2022.07.20 (71)申请人 东北电力大 学 地址 132012 吉林省吉林市船 营区长春路 169号 (72)发明人 周欣欣　孟炫宇　张龙　衣雪婷　 郭月晨　薛青常　李茂源　杨峰　 (74)专利代理 机构 北京锺维联合知识产权代理 有限公司 1 1579 专利代理师 郝姗姗 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/20(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01) (54)发明名称 一种基于改进双候选框交叉替换策略和损 失函数的拥挤场景 行人检测方法 (57)摘要 本发明提供了一种基于改进双候选框交叉 替换策略和损失函数的拥挤场景行人检测方法， 包括以下步骤： S1： 将图像输入到主干网络， 提取 不同尺度下的特征； S2： 将步骤S1提取的特征输 入到基于简化CIoU和K ‑means聚类算法的锚框优 化方法的双锚框区域建议网络中获取候选框； S3： 采用改进的双候选框交叉替换策略对步骤S2 生成的候选框对进行比对、 替换， 生成高质量候 选框对； S4： 将经过RoI  Align后的头部和全身候 选框对应的特征输入全 连接层进行融合， 并得到 特征图信息； S5： 采用改进的损失函数对融合后 的特征图信息进行分类和回归处理， 预测行人的 位置和类别信息； S6： 剔除冗余预测框， 输出带有 最优预测框的图像。 该方法有效降低了拥挤场景 下行人检测的误检率和漏检率。 权利要求书3页 说明书7页 附图3页 CN 115393892 A 2022.11.25 CN 115393892 A 1.一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行人检测方法， 其特征 在于， 包括以下步骤： S1： 将图像输入到主干网络， 提取不同尺度下的特 征； S2： 将步骤S1中提取的特征输入到基于简化CIoU和K ‑means聚类算法的锚框优化方法 的双锚框区域建议网络中获取候选 框； S3： 采用改进的双候选框交叉替换策略对步骤S2生成的候选框对进行比对、 替换， 生成 包含头部和全身候选 框的高质量 候选框对； S4： 将经过RoIAlign后的头部和全身候选框对应的特征输入全连接层进行融合， 生成 融合后的特 征图信息； S5： 根据目标内容对融合后的特征图信息， 采用基于改进的损失函数对融合后的特征 图信息进 行分类和回归处理， 获得多个预测框， 预测行人的位置和类别信息， 其中改进的回 归损失函数计算公式见公式(1)： LE‑RepLoss＝LE‑Attr‑α *LE‑RepGT‑β *LE‑RepBox                    (1) 公式(1)中， LE‑RepLoss是改进的损失函数， LE‑Attr是吸引力损失， LE‑RepGT、 LE‑RepBox是排斥力 损失， α 和β 为平衡系数； 公式(1)中， 吸引力损失LE‑Attr的计算方法见公式(2)， 其作用是使目标的预测边界框尽 可能靠近自己的真实框： 公式(2)中， b和 分别表示行人的预测边界框和与之对应的真实框， w表示预测边界框 的宽， h表示预测边 界框的高， 表示真实框的宽， 表示真实框的高， c表示两个边 界框 最小外接矩形的对角线， ρ 表示两个边界框最小外接矩形的中心点的距离， Cw和Ch分别为两 个边界框最小外 接矩形的宽和高； 公式(1)中， LE‑RepGT为预测边界框与相邻目标真实框的排斥力损失函数， 计算方法见公 式(3)： 公式(3)中， 是b与所有真实框交并比值第二大时的真实框， 和 是其对应的 宽和高； 公式(1)中， LE‑RepBox为行人预测边界框与相邻行人预测边界框损失函数， 计算方法见公 式(4)： 公式(4)中， bi和bj表示行人i跟行人j的预测边界框， wi、 hi表示行人i的预测边界框的宽 跟高， wj、 hj表示行人j的预测边界框的宽跟高； S6： 剔除冗余预测框， 输出 带有最优预测框的图像。 2.如权利要求1所述的一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行权　利　要　求　书 1/3 页 2 CN 115393892 A 2人检测方法， 其特 征在于， 所述 步骤S1， 进一 步包括步骤S11至步骤S12： S11： 加载在ImageNet分类数据集上预训练后生成的深度残差卷积神经网络模型 ResNet50； S12： 将待检测的图像输入到深度残差卷积神经网络ResNet50中提取不 同尺度下的深 度卷积特 征。 3.如权利要求1所述的一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行 人检测方法， 其特 征在于， 所述 步骤S2， 进一 步包括步骤S21至步骤S2 2： S21： 采用基于简化CIoU和K ‑means聚类算法的锚框优化方法对双锚框区域建议网络进 行锚框优化， 进一 步包括步骤S211至步骤S215： S211： 将数据集中所有全身标注框的宽和高(xi,yi)作为待聚类样本， 其中， i∈(1, 2,...N)， N为样本个数， xi为第i个标注框的宽， yi为第i个标注框的高； S212： 给定K个聚类中心点的坐标(SWj,SHj)， 其中， (SWj,SHj)为第j个聚类中心点的坐 标， j∈(1,2,. ..K)， K为聚类中心点的数量； S213： 根据 LS‑CIoU计算每个标注框到每个聚类中心的距离， 计算公式见公式(5)， 将标注 框分配给距离最近的聚类中心； d＝LS‑CIoU[(swi,shi),(SWj,SHj)]                          (5) 公式(5)中， d表示标注框到聚类中心的距离， i∈(1， 2， …， N)， J∈(l， 2， …K)， LS‑CIoU为 K‑means聚类 算法中距离计 算公式， (swi,shi)为第i个标注框中心位置坐 标， LS‑CIoU计算公式 见公式(6)： LS‑CIoU＝1‑IoU+α ν                 (6) 公式(6)中， v是宽高比， a是动态权 重因子， 其中， α 的计算方法见公式(7)： 公式(7)中， 宽高比v的计算方法见公式(8)： 公式(8)中， (swgt,shgt)为真实框中心位置坐标， (sw,sh)为标注框中心位置坐标； S214： 所有标注框分配完毕以后， 对每 个簇重新计算聚类中心， 计算方法见公式(9)： 公式(9)中， (SW ’,SH’)为重新计算的第i个类簇的聚类中心位置坐标， Ni为第i个类簇中 对象个数， ∑SWi为第i个类簇中所有对象横坐标SW向量的和， ∑SHi为第i个类簇中所有对象 纵坐标SH向量的和； S215： 重复步骤S213、 S214， 直到聚类中心不再改变； S22： 将步骤S1中提取的特征输入到基于简化CIoU和K ‑means聚类算法的锚框优化方法 的双锚框区域建议网络中， 由RPN ‑H和RPN‑B生成符合数据集的头 部和全身候选 框对。 4.如权利要求1所述的一种基于改进双候选框交叉替换策略和损失函数的拥挤场景行 人检测方法， 其特 征在于， 所述 步骤S3， 进一 步包括以下步骤S31至步骤S32：权　利　要　求　书 2/3 页 3 CN 115393892 A 3