(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210532337.1 (22)申请日 2022.05.11 (71)申请人 中国科学院声学研究所南海研究站 地址 570105 海南省海口市龙华区滨 海大 道63号 (72)发明人 李松斌　阳祥芝　刘鹏　 (74)专利代理 机构 北京方安思达知识产权代理 有限公司 1 1472 专利代理师 杨青　王蔚 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于注意力机制和特征交叉融合的目标检 测方法及系统 (57)摘要 本发明公开了一种基于注意力机制及特征 交叉融合的目标检测方法及系统， 该系统包括骨 干网、 颈层、 特征交叉融合模块和检测头。 具体 地： 首先， 通过骨干网对输入图像提取多层次特 征。 然后， 颈层采用特征金字塔网络(FPN)和路径 融合网络(PAN)， 分别自顶向下和自底向上地对 不同层次的特征进行融合。 特征金字塔网络自顶 向下传达强语义特征， 而路径融合网络自底向上 传达强定位特征。 此外， 在特征融合过程中， 引入 注意力机制， 从通道维度以及空间维度全方位地 学习更丰富的语义信息和细节信息。 紧接着， 通 过特征交叉融合模块， 将高层次特征与低层次特 征交叉融合， 进一步提高特征之间的信息利用 率。 最后， 将融合的特征送至检测头， 预测目标类 别及目标所在位置 。 权利要求书4页 说明书10页 附图3页 CN 115035361 A 2022.09.09 CN 115035361 A 1.一种基于注意力 机制及特征交叉融合的目标检测方法， 所述方法首先对经过预处理 的训练集图片提取特征， 并对提取 的特征分别通过特征金字塔网络、 路径融合网络以及特 征交叉融合模块进 行交叉提炼， 并在提炼时引入多种注意力机制， 由此得到输出特征后， 将 输出特征送入检测头得到预测结果， 计算预测结果与真实标签之间的损失， 根据计算的损 失反复训练调整模型参数， 直至得到最优模型参数后输出目标检测网络模型， 然后将待检 测图片输入网络模型得到预测结果， 最后， 对预测结果进行解码得到待检测图片 中目标的 位置、 类别及其置信度。 2.根据权利要求1所述的基于注意力机制及特征交叉融合的目标检测方法， 其特征在 于， 所述方法在建立目标检测网络模型时包括以下步骤： 步骤1)数据预处 理， 将训练所需图片进行缩放增强后按每组B张随机分成M组； 步骤2)随机读取一组图片， 通过N层骨干网对输入图片逐层递进的提取和压缩特征， 得 到每一层的特 征图； 步骤3)对步骤2)中最后一层的层级特征， 通过上采样的方式， 自顶向下地逐个融合低 层次特征， 以获得包 含更多语义信息的特 征； 步骤4)对步骤3)中最后一层特征， 通过卷积操作对特征图下采样， 自底向上地对高层 次特征进行逐层融合， 以获得包 含更多定位信息的特 征； 步骤5)对步骤4)中分辨率较低的两个特征图通过上采样与各自上面层中分辨率相同 的特征图进行交叉融合， 得到 输出特征； 步骤6)将步骤5)中的输出特征送至检测头中进行检测和解码， 得到目标在原始输入图 像上的预测坐标以及预测类别和置信度； 步骤7)计算网络预测与真实值之间的损失函数， 采用梯度 下降法对上述模型中的参数 进行更新； 反复迭代， 直至训练出最优参数组合， 输出目标检测网络模型。 3.根据权利要求2所述的基于注意力机制及特征交叉融合的目标检测方法， 其特征在 于， 所述步骤2)中的骨干网包括浅层特征提取块， 三个普通卷积层级特征提取块以及一个 基于Transformer结构和快速空间金字塔池化的层 级特征提取块； 其中， 浅层特征提取操作 包含2次下采样， 每个普通卷积层 级特征提取操作及基于Transformer结构和快速空间金字 塔池化的层级 特征提取操作都分别只包含1次下采样； 每次下采样的倍数都为2； 具体地， 包 括以下步骤： 步骤2‑1)随机读取一组图片Xin， 通过浅层特 征提取块， 得到 浅层特征Fs； 步骤2‑2)将得到的浅层特征Fs通过第一个普通卷积层级特征提取块， 得到特征金字塔 的第一层特 征图Fa； 步骤2‑3)将Fa通过第二个普通卷积层级特征提取块， 得到特征金字塔的第二层特征图 Fb， 再将Fb通过第三个普通卷积层级特 征提取块， 得到特 征金字塔的第三层特 征图Fc； 步骤2‑4)将Fc通过基于Tran sformer结构和快速空间金字塔池 化的层级特征提取块， 得 到特征金字塔的最上面 一层特征图FN‑1。 4.根据权利要求2所述的基于注意力机制及特征交叉融合的目标检测方法， 其特征在 于， 所述步骤3)中的特征金字塔网络包括一个常规卷积块， 两个卷积融合块， 以及一个全局 注意力融合 块； 其中， 所述卷积融合块包括： 上采样层、 拼接层、 C3层以及Conv层； 所述全局注意力融合权　利　要　求　书 1/4 页 2 CN 115035361 A 2块包括上采样层、 拼接层、 C3层和全局注意力层； 所述上采样层中的上采样因子为2； 所述 Conv层中卷积核大小为1， 步长为1； 具体地， 对特征图Fa、 Fb、 Fc和FN‑1， 自顶向下地执行以下 步骤： 步骤3‑1)先将FN‑1通过第一个常规卷积块后得到特征 图F′N‑1， 接着通过第一个卷积融 合块， 即将F ′N‑1上采样后与Fc进行拼接， 随后依次通过C3层和Conv层进行特征融合得到特 征图F′c； 步骤3‑2)将F′c通过第二个卷积融合 块融合Fb得到特征图F′b； 步骤3‑3)将F′b通过全局注意力融合 块融合Fa得到特征图F′a。 5.根据权利要求2所述的基于注意力机制及特征交叉融合的目标检测方法， 其特征在 于， 所述步骤4)中的路径融合网络包 含两个全局注意力卷积块以及一个多重注意力块； 其中， 所述全局注意力卷积块包括： Conv层、 拼接层和C3层和全局注意力层； 所述多重 注意力块包括： Conv层、 拼接层、 基于Transformer结构的C3层和全局注意力层； Conv层的卷 积核大小为3， 步长为2； 具体地， 对特 征图F′N‑1、 F′c、 F′b和F′a， 自底向上地执 行以下步骤： 步骤4‑1)先将F′a通过第一个全局注意力卷积块， 即对F ′a采用Conv层下采样后与F ′b拼 接， 然后依次通过C 3层和全局注意力层进行 特征融合得到特 征图F″b； 步骤4‑2)将F″b通过第二个全局注意力卷积块融合F ′c得到特征图F″c； 步骤4‑3)将F″c通过多重注意力块融合F ′N‑1得到特征图F″N‑1。 6.根据权利要求2所述的基于注意力机制及特征交叉融合的目标检测方法， 其特征在 于， 所述步骤5)包 含两个特 征交叉融合单 元； 所述特征交叉融合单元包括： 上采样层、 拼接层、 Conv层； 其中， 上采样层的上采样因子 为4； Conv层的卷积核大小为3， 步长为1； 具体地， 对特征图F ′a、 F″b、 F″c和F″N‑1， 执行以下步 骤： 步骤5‑1)将特征F ″c通过第一个特征交叉融合单元， 即将F ″c上采样后与F ′a拼接， 然后 通过Conv层进行 特征融合得到特 征图F″ca； 步骤5‑2)将特征F″N‑1通过另一个特 征交叉融合单 元得到特征图F″(N‑1)b。 7.根据权利要求2所述的基于注意力机制及特征交叉融合的目标检测方法， 其特征在 于， 步骤6)中检测头的个数对应输出特征数； 其中， 每个检测头包含一个1 ×1的Conv层和两 个平行分支， 所述平行分支是两个3 ×3的Conv层； 两个分支分别用于 分类任务和回归任务； 目标分支被添加到回归 任务分支上； 通过1×1的二维卷积操作得到最终的分类预测、 回归预测和目标预测； 其中， 分类预测 判断检测到的目标属于哪个类别， 通道数为 目标类别数； 回归预测判断检测到的目标在图 像中所处的相对位置， 并以矩形框的形式表 示， 通道数为4， 4个通道分别对应目标的中心 坐 标(x， y)以及目标的高度h和宽度w； 目标预测的通道数为1， 预测的值为置信度， 其中， 所述 置信度表示该预测是目标的概率； 具体地， 对输出特征图F ′a、 F″b、 F″c、 F″N‑1、 F″ca和F″(N‑1)b， 执行以下步骤： 步骤6‑1)将特征F ′a通过对应的检测头后得到三个预测Ya， Reg、 Ya， Obj、 Ya， Cls， 然后将三个 预测在通道维度进行拼接， 得到预测Ya； 步骤6‑2)取步骤6 ‑1)中预测Ya的前4个通道， 将其投影到 输入图像上； 步骤6‑3)对其余5个特征F ″b、 F″c、 F″N‑1、 F″ca和F″(N‑1)b分别依次进行步骤6 ‑1)和6‑2)中权　利　要　求　书 2/4 页 3 CN 115035361 A 3