慕尼黑工业大学发明Transformer新架构 通过多模态融合实现汽车系统的鲁棒性

盖世汽车讯 基于Transformer的架构在计算机视觉和自然语言处理等领域日益占据主导地位，但将其应用于安全至关重要的汽车系统则需要对可靠性给予严格关注。

据外媒报道，慕尼黑工业大学（Technical University of Munich）的Sven Kirchner、Nils Purschke及其同事，与Chengdong Wu和Alois Knoll合作，提出了一种构建容错Transformer的新框架来应对这一挑战。

图片来源：https://arxiv.org/abs/2601.18850

该研究详细阐述了多模态基础模型如何利用汽车传感器固有的多样性和冗余性，即使在单个组件发生故障时也能维持系统的运行能力。通过将来自多个编码器的信息融合到一个共享的表示空间中，该团队展示了一种结构化嵌入冗余的途径，这是弥合前沿深度学习与自动驾驶严格安全要求之间差距的关键一步，最终将实现可认证系统的开发。