(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210303602.9 (22)申请日 2022.03.24 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 王改华　甘鑫　曹清程　翟乾宇　 刘洪　 (74)专利代理 机构 武汉宇晨专利事务所(普通 合伙) 42001 专利代理师 余晓雪 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于目标检测的多尺度特 征融合方法 (57)摘要 本发明属于目标检测领域， 涉及一种基于目 标检测的多尺度特征融合方法， 包括以下步骤： 1） 将不同尺寸的特征图进行卷积处理后得到通 道数相同的特征图； 2） 将步骤1） 获取得到的特征 图分别进行通道维度融合处理以及空间维度融 合处理， 分别得到通道维度融合处理特征图以及 空间维度融合处理特征图； 3） 将步骤2） 所获取得 到的通道维度融合处理特征图以及空间维度融 合处理特征图进行融合处理， 实现对不同尺寸的 特征图在空间和通道两个维度的特征融合。 本发 明提供了一种可显著提升检测精度的基于目标 检测的多尺度特 征融合方法。 权利要求书2页 说明书7页 附图5页 CN 114694003 A 2022.07.01 CN 114694003 A 1.一种基于目标检测多尺度特征融合方法， 其特征在于： 所述基于目标检测多尺度特 征融合方法包括以下步骤： 1)将不同尺寸的特 征图进行 卷积处理后得到通道数相同的特 征图； 2)将步骤1)获取得到的特征图分别进行通道维度融合处理以及空间维度融合处理， 分 别得到通道维度融合处 理特征图以及空间维度融合处 理特征图； 3)将步骤2)所获取得到的通道维度融合处理特征图以及空间维度融合处理特征图进 行融合处 理， 实现对不同尺寸的特 征图在空间和通道两个维度的特 征融合。 2.根据权利要求1所述的基于目标检测多尺度 特征融合方法， 其特征在于： 所述步骤1) 的具体实现方式是： 1.1)获取不同尺寸的特征图， 所述不同尺寸的特征图最少包括特征图C3、 特征图C4以 及特征图C5； 其中特 征图C3的尺寸是 特征图C4的2倍； 特 征图C4的尺寸是 特征图C5的2倍； 1.2)对不同尺寸的特 征图进行 经过卷积处理， 使得卷积处理后的通道数相同。 3.根据权利要求2所述的基于目标检测多尺度 特征融合方法， 其特征在于： 所述步骤2) 中通道维度融合处理的具体实现方式是： 将特征图在通带维度上压缩为三维向量， 再将不 同尺度的特 征图在通道维度融合。 4.根据权利要求3所述的基于目标检测多尺度 特征融合方法， 其特征在于： 所述将特征 图在通带维度上压缩为 三维向量的具体实现方式是： 将特征图经过unfold操作， 促使特征图由四维tensor转换成三维tensor； 所述四维 tensor的维度是 【B， C， H， W】 ， 所述 三维tensor的维度为 【B， C ’， L】 ； 其中： C’满足以下关系： C′＝C*K*K 其中： C是原特征图的通道大小； K是卷积核的大小； C’是滑动窗口大小； L满足以下关系： L＝H'*W' 其中： H是原特征图的长度； W是原特征图的宽度； pading是填充大小； K是卷积核大小； stride是步距大小； L是滑动窗口 的数量。权　利　要　求　书 1/2 页 2 CN 114694003 A 25.根据权利要求4所述的基于目标检测多尺度 特征融合方法， 其特征在于： 所述将不同 尺度的特 征图在通道维度融合的具体实现方式是： a)特征图C3经过1次unfold操作得到C ’3； 特征图C4经过2次unfold操作后得到C ’4_1以 及C’4_2； 特征图C5经过 1次unfold操作得到C ’5； 其中： C ’3和C’4_1大小相等， C ’4_2和C’5大 小相等； b)将C’3和C’4_1融合得到三维tensor、 将C ’4_2和C’5进行融合得到三维tensor； c)再将步骤b)的结果通过reshape恢复到4个四维tensor， 其中， 第一个四维tensor的 尺寸和特征图C3的尺 寸相同， 第2个四维tensor的尺寸以及第3个四维tensor的尺 寸分别与 特征图C4的尺寸相同， 第4个四维tensor的尺寸和特 征图C5的尺寸相同； d)第一个四维tensor得到经过通道维度上融合 的特征图P3_1； 第4个四维tensor得到 经过通道维度上融合的特征图P5_1； 将第2个四维tensor和第3个四维tensor相加得到经过 通道维度上融合的特征图P4_1； 所述特征图P3_1的尺寸、 特征图P4_1的尺寸以及特征图P 5_ 1的尺寸均是非等同的。 6.根据权利要求1所述的基于目标检测多尺度 特征融合方法， 其特征在于： 所述步骤2) 中空间维度融合处理是对特征图进行上采样， 再将不同不同尺度的特征图在空间维度融 合。 7.根据权利要求6所述的基于目标检测多尺度 特征融合方法， 其特征在于： 所述步骤2) 中空间维度融合处 理的具体实现方式是： 将特征图C5经过上采样与特征图C4 融合得到P4_2， 将P4_2再经过上采样与特征图C3融 合得到P3_2， 最终得到经过空间维度上融合的特征图P3_2、 特征图P4_2以及特征图P5_2； 所 述特征图P3_2的尺寸、 特 征图P4_2的尺寸以及特 征图P5_2的尺寸是非等同的。 8.根据权利要求1 ‑7任一项所述的基于目标检测多尺度特征融合方法， 其特征在于： 所 述步骤3)中的融合处 理的具体实现方式是： 3.1)对通道维度和空间维度的相同尺寸的特 征图进行整合； 3.2)将步骤3.1)整合后的结果进行消融和降采样操作， 最终实现对不同尺寸的特征图 在空间和通道两个维度的特 征融合。权　利　要　求　书 2/2 页 3 CN 114694003 A 3