(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122478.2 (22)申请日 2022.09.15 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 张慧　李浥东　曹原周汉 　韩瑜珊　 金一　陈乃月　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 邹芳德 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于异构图网络的多模态协同检测方法及 系统 (57)摘要 本发明提供一种基于异构图网络的多模态 协同检测方法及系统， 属于目标检测技术领域， 包括： 智能体基于点云和图像分别提取BEV特征； 多个智能体将生成的多模态BEV特征传至中心车 辆； 基于异构图的方法在节点层和语义层融合多 智能体的多模态BEV特征， 得到新的协作特征； 中 心车辆基于新的协作特征进行目标检测， 得到最 终的检测结果。 本发明采取多模态单阶融合检测 模型， 检测精度显著优于单模态单阶段检测模 型， 经过异构协作图的特征融合， 大大扩大了单 车的感知视野， 丰富了感知信息， 从而提升协同 感知性能。 权利要求书3页 说明书12页 附图3页 CN 115512319 A 2022.12.23 CN 115512319 A 1.一种基于异构图网络的多模态 协同检测方法， 其特 征在于， 包括： 智能体基于点云和图像分别提取BEV特 征； 多个智能体将生成的多模态BEV特 征传至中心车辆； 基于异构图的方法在节点层和语义层融合多智能体的多模态BEV特征， 得到新的协作 特征； 中心车辆基于新的协作特 征进行目标检测， 得到最终的检测结果。 2.根据权利要求1所述的基于异构图网络的多模态协同检测方法， 其特征在于， 智能体 基于点云和图像分别提取BEV特 征， 包括： 采取鸟瞰图作为两种模态 的转换特征； 假设一共有C个类别的物体， n个自动驾驶车辆 和m个路端基础设施， 对 于每个智能体Ai的点云数据Xi(i＝1,2,3, …,n+m)， 利用点云特征提 取器提取三维的点云数据， 转换成二维的鸟瞰图特征 利用图像的特征提取 器， 经过投影取 得多幅图像生成的二维鸟瞰图特 征 其中h， k， c分别代 表BEV特 征的高、 宽和通道数； 基于点云范围， 划分网格生成单阶段目标检测的锚框用于最 终的区域 提取。 3.根据权利要求2所述的基于异构图网络的多模态协同检测方法， 其特征在于， 多个智 能体将生成的多模态BEV特 征传至中心车辆， 包括： 采取特征压缩的方式减小传输带宽； 对于每一个智能体给定一个特征hi∈Rk×k×c， 将其压缩至 其中 在 中心车辆端对压缩特 征进行解码， 从而得到与原 始特征尺寸一致的特征 4.根据权利要求3所述的基于异构图网络的多模态协同检测方法， 其特征在于， 基于异 构图的方法在节点层和语义层融合多智能体的多模态BEV特 征， 得到新的协作特 征， 包括： 为不同智能体设置异构协作图的元路径； 根据元路径， 在每一个元路径内进行节点层 面的注意力机制特征融合； 在不同的元路径之间进行语义层面的注意力机制特征融合； 异 构协作图输出的特 征作为中心车辆的融合特 征。 5.根据权利要求4所述的基于异构图网络的多模态协同检测方法， 其特征在于， 根据 元 路径， 在每一个元路径内进行节点层面的注意力机制特 征融合， 包括： 多源异构智能体的多模态特征输入到异构图中， 首先在每一种元路径内进行节点层面 的注意力机制融合； 对于某一种元路径φi， 首先设计一个特定的转换矩阵 将特征进行转换， h'i为投影 的特征： 转换特征之后， 使用self ‑attention计算该元路径内节点特 征间的权 重； 给定元路径Φ内的节点对(i,j)， 节点层面的注意力 可以学习 到节点j对节点i的重 要性， self ‑attention的计算公式为：权　利　要　求　书 1/3 页 2 CN 115512319 A 2其中， attnode为self‑attention操作： 将图的结构信息注入模型确保权重只针对当前边， 并通过softmax计算正则化后的特 征， 其中| |为拼接运算， σ 是激活函数： 得到正则化后的权 重， 通过下式聚合近邻特 征： 其中， 为当前元路径φi内经过节点层面融合得到的特征， 该特征学习了当前元路径 内的信息 。 6.根据权利要求5所述的基于异构图网络的多模态协同检测方法， 其特征在于， 在不同 的元路径之间进行语义层面的注意力机制特 征融合， 包括： 由于异构图中不同节点包含多种语义， 在元路径内进行特征融合只能考虑 当前路径内 的语义， 为了更全面 地考虑节点的多种语义， 需 融合多种元路径； 给定节点层融合输出的特 征， 元路径间的权 重可以使用下式计算得到 其中， attsem与attnode一样为self ‑attention操作。 7.一种基于异构图网络的多模态 协同检测系统， 其特 征在于， 包括： 提取模块， 用于智能体 基于点云和图像分别提取BEV特 征； 传输模块， 用于多个智能体将生成的多模态BEV特 征传至中心车辆； 融合模块， 用于基于异构图的方法在节点层和语义层融合多智能体的多模态BEV特征， 得到新的协作特 征； 检测模块， 用于中心车辆基于新的协作特 征进行目标检测， 得到最终的检测结果。 8.一种非暂态计算机可读存储介质， 其特征在于， 所述非暂态计算机可读存储介质用 于存储计算机指 令， 所述计算机指 令被处理器执行时， 实现如权利要求 1‑6任一项所述的基 于异构图网络的多模态 协同检测方法。 9.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序当在一个或多 个处理器上运行时， 用于实现如权利要求1 ‑6任一项所述的基于异构图网络的多模态协同 检测方法。 10.一种电子设备， 其特征在于， 包括： 处理器、 存储器以及计算机程序； 其中， 处理器与权　利　要　求　书 2/3 页 3 CN 115512319 A 3