(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210410414.6 (22)申请日 2022.04.19 (71)申请人 中山大学·深圳 地址 518107 广东省深圳市光明区公常 路 66号中山大 学深圳校区 申请人 中山大学 (72)发明人 张礼霆　吴洋鑫　梁小丹　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 禹小明 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种自动驾驶场景下的异构多任务协同系 统 (57)摘要 本发明提供一种自动驾驶场景下的异构多 任务协同系统， 该系统以端到端的方式学习特定 任务的提示， 然后基于交叉注 意机制对适配器功 能进行建模， 从而将语言信息作为先验知识纳入 视觉特征中； 可以显著提高现成的在单任务学习 中有强大性能的预训练模型在多任务学习中的 性能， 且无需重新设计预训练方案或增加训练模 型的开销， 实现了在训练中较好地迁移到特定的 下游任务。 权利要求书2页 说明书6页 附图1页 CN 115131753 A 2022.09.30 CN 115131753 A 1.一种自动驾驶场景下的异构多任务协同系统， 其特征在于， 包括图像编码器、 文本编 码器、 适配 器、 物体探测器和分割解码器； 图像编码器用于对 采集的车辆行驶道路图像中的图像进行编码； 文本编码器用于对 采集的车辆行驶道路图片中的文本进行编码； 适配器用于对编码后的图像和文本进行适配； 物体探测器用于进行交通物体 检测； 分割解码器将经适配后的文本进行语义分割 任务处理， 将经适配后的图像进行可驱动 路面分割任务处 理， 将物体探测器的数据进行交通物体 检测任务处 理。 2.根据权利要求1所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 在进行 语义分割任务处理和可驱动路面分割任务处理时， 分割解码器的头部包括基于MaskFormer 的头部。 3.根据权利要求2所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 所述的 MaskFormer由一个全卷积像素解码器和一个transformer解码器模块组成， 它将分割任务 看作一个掩码的分类任务。 4.根据权利要求3所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 所述的 全卷积像素解码 器以特征图金字塔网络的第二到第五个卷积层的输出特征作为输入， 对特 征逐层上采样后产生高分辨 率的像素 特征。 5.根据权利要求4所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 所述 transformer解码器模块利用一组固定的查询来关注图像特 征， 并产生掩码特 征。 6.根据权利要求5所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 将像素 特征和掩码特 征相乘， 生成预测掩 模。 7.根据权利要求6所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 在进行 交通物体检测任务处理时， 分割解码器的头部包括Sparse  R‑CNN， Sparse  R‑CNN将一组固 定数目的可 学习的区域建议框 输入一系列动态实例交 互头部结构用于预测。 8.根据权利要求7所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 针对处 理未标记的数据， 系统使用自训练的方法， 基于每个任务的可用标注训练了三个单任务教 师模型， 并使用它们在未标记的数据上生成伪标签， 其中单任务教师模型沿用了在已标记 的数据上训练过的Sparse  R‑CNN和MaskFormer相同的网络架构和训练方式。 9.根据权利要求6所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 尽管三 个任务有不一致的输出形式， 它们都需要确定框和像素的类别， 使用特定于任务类别的 prompt来完成模型参数的微调： ni是指属于特定任务的类别名字的特征， vi是可学习的上下文参数， Gen是prompt生成 函数， TE是文本编码器， L2_NORM是L2正则化。 10.根据权利要求9所述的自动驾驶场景下的异构多任务协同系统， 其特征在于， 通过 学习一个适配器函数A， 为下游任务生成语言感知的上下文， 适配器利用tr ansformer解码 器中的交叉注意机制来进行语言到 视觉的特征融合： A(T,z)＝TransDecoder(q＝z,k&v＝T) q、 k、 v表示查询、 键和值， T是N个类的正则化输出特征， z表示FPN第五层的最后一层特权　利　要　求　书 1/2 页 2 CN 115131753 A 2征； T的通道数通过一个全连接层 进行调整， 上述 公式的输出用以替代FPN的最后一层特征， 并保持特定任务的头 部设计不变。权　利　要　求　书 2/2 页 3 CN 115131753 A 3