换一句指令，93.2%的成功就无法复现：自动驾驶VLA是真听懂了，还是碰巧开对了？

「以棱镜之思，折射 AI 研究的多维光谱」——学术棱镜是奇点折射公众号推出的精品论文栏目，专注遴选全球顶会顶刊及产业前沿的优质研究成果。我们相信，每一篇扎实的论文都是照亮技术未来的光束，而棱镜，让光芒绽放出应有的色彩。

论文投稿请联系：zhanghy@csdn.net

责备| 梦依丹

出品丨奇点折射（ID：rgznai100）

当 VLA 进入自动驾驶，一个很自然的想象是：乘客说「前面左转」、「跟着那辆绿车」、「停进B204」，车辆便能理解并执行。

但一辆车安全完成行程，并不等于它真的听从了指令——它也可能只是沿着自己最熟悉的路线行驶，碰巧做对了。

近日，来自清华大学智能产业研究院（AIR）、东南大学、上海交通大学、香港科技大学（广州）、阿德莱德大学等高校，以及理想汽车、蔚来、Amazon、AMD 等产业机构的研究团队发布了自动驾驶 VLA 评测基准 Language2Drive。

该论文由 Zihan You 担任项目负责人，Zihan You、Zehua Fan、Wenqi Lyu、Aoqi Wang 为核心贡献者，Yan Wang 为通讯作者。

• 论文：https://arxiv.org/abs/2610.16634

• 项目与代码：https://github.com/ZihanYou/Language2Drive

团队没有再问“车开得好不好”，而是追问了一个更基础的问题：当场景不变、只改变乘客说的话，车辆的行为真的会随之改变吗？

论文给出的答案并不乐观。

在六个主要 CARLA 系统已经成功的运行中，93.2% 无法在另一条同样可行的指令下组成“双侧成功”。LMDrive的单条严格指令成功率最高，达到 12.24%，但严格配对成功率为 0。整个 CARLA 主评测中，最高严格配对成功率也只有1.04%。

更具反差的是，Alpamayo 1.5 在重建真实场景中取得了 100% 的安全分和 97.17 的 DrivingScore，严格配对成功率却仍然为 0。

这意味着，当前驾驶 VLA 可能已经很会“开车”，却未必真正把乘客的语言变成驾驶行为。一次看似正确的转弯、变道或停车，也可能只是模型沿着默认策略，碰巧开对了。

Language2Drive 整体框架与四类语言控制任务

把“碰巧开对”找出来

Language2Drive 的核心设计叫作成对反事实单元（Paired Counterfactual Unit，PCU）。

每个 PCU 都从同一个驾驶场景出发：地图相同，车辆和其他交通参与者的初始状态相同，历史观测相同，连仿真随机种子也保持一致。

测试分成两次独立运行，唯一改变的是自然语言指令。

例如：

• 在路口左转与直行通过路口；

• 超过前方车辆与继续跟在它后面；

• 停进 B204 与停进相邻的 B205；

• 先到 B208，再去 F206 与先去 F206，再到 B208。

两侧任务都必须安全、合法且物理可行，但要求彼此排斥。

模型只有在两种指令下都完成对应动作，才能证明自己不是依赖场景惯性或默认策略，而是能够按照语言，在多个可行行为之间切换。

这种设计很像给自动驾驶做一场控制变量实验：同一辆车、同一条路、同一个起点，只换一句话，看它是不是真的会改变行为。

不只检查终点，还要检查「怎么做到的」

只做成对测试还不够。真实驾驶指令，往往不是“到达某个点”这么简单。

「停进 B204」意味着整车轮廓进入指定车位，车身方向正确，速度降到足够低，并且稳定停留一段时间。

「全程保持在 50 公里每小时以下」要求车辆真正进入并走完指定路段，不能靠停在路段外躲过检查。

“先接乘客，再前往目的地”则必须满足动作顺序。即使两个地点都到过，只要顺序相反，仍然算失败。

因此，Language2Drive 没有要求模型复现唯一的参考轨迹，而是为每条指令设计可由机器检查的空间、时间、行为和安全条件。

只要最终执行满足完整契约，不同的合理轨迹都可以获得成功。

论文由此把语言控制划分为四个层级：

1. 原子动作：左转、变道、启动、停车等局部决策；

2. 持续行为：在一段路程内维持速度、保持车道或者持续跟随某辆车；

3. 场景落地指令：找到指定道路、区域、车辆或具体车位；

4. 长程程序：按顺序访问多个地点、执行条件分支，并在后续阶段保留之前的约束。

从“一次动作”到“持续记住并完成一串要求”，难度逐层上升。

评测关注的也不再只是模型有没有对语言作出反应，而是它能否把指令正确绑定到物理世界，并将其中的约束一直保留到任务结束。

从场景筛选、几何绑定到任务编译与验证的构建流程

六个系统接受测试，93.2% 的成功无法通过另一条指令验证

为了把这套方法真正运行起来，团队构建了 64 个 CARLA 成对反事实单元，并为每一侧指令准备了三种语义相同的表达。

因此，每个系统需要完成 384 次闭环运行，组成 192 对反事实测试。

团队还发布了六类专用 CARLA 环境，覆盖地下停车场、港口、中国城市道路、美式城市、校园和高速公路。

除此之外，研究团队还在 23 个重建真实道路场景中构建了 30 个 RealSim 成对反事实单元，并将评测扩展至 nuScenes、NAVSIM 和 WOD-E2E 三套开放式轨迹预测环境。

随后，Alpamayo 1.5、SimLingo、LMDrive、OneVL、Qwen-Drive-1.0-4B 和 Impromptu-VLA 等代表性驾驶 VLA，被放进了同一套测试中。

最值得关注的数字不是某个模型拿到了多少分，而是在六个主要 CARLA 系统已经成功的运行中，93.2% 都无法在另一条可行指令下组成“双侧成功”。

也就是说，模型可能完成了「左转」，却无法在同一场景下完成「直行」。能够停进一个车位，却不能按照另一条指令驶入旁边同样可用的车位。

这些成功大多是单侧的，更像是在稳定复现一种偏好的行为，而不是让语言真正拥有选择权。

论文使用两个指标来区分这两种能力：

• SISR 衡量单条指令是否被完整执行；

• CFPS 只有在同一个 PCU 的两条反事实指令都成功时才计分。

举个简单的例子：如果一个系统面对「左转」和「直行」时永远选择左转，它在这组测试中的单条成功率仍然可以达到 50%，但配对成功率一定是 0。

因为它只证明了自己会左转，没有证明自己能够按照语言完成两种选择。

在 CARLA 主评测中，LMDrive 的单条严格指令成功率最高，为 12.24%，但严格配对成功率为 0。

Alpamayo 1.5 和 SimLingo 的严格配对成功率也只有 1.04%。

这意味着，「偶尔把一道题做对」与「能够根据指令稳定选择任一可行方案」之间，仍然隔着很大的距离。

CARLA-Language2Drive 主要评测结果

安全分 100，仍可能完全没有按要求做

更具反差的一组结果来自重建真实场景。

Alpamayo 1.5 在 RealSim 中取得了 100% 的安全分和 97.17 的 DrivingScore。如果只看传统驾驶指标，它的表现几乎无可挑剔。

但它的严格配对成功率仍然为 0。

论文给出的车道任务更直观：一条指令要求车辆保持当前车道，另一条则要求向左变道。

Alpamayo 1.5 在两次运行中都拿到了 100 DrivingScore，却只完成了“保持车道”这一侧任务。

车确实开得很顺，参考路线也推进得很好，但另一条语言要求没有被真正执行。

这并不是说安全分和驾驶分没有价值，而是它们衡量的是不同能力：

• 安全分回答“有没有发生碰撞或驶出道路”；

• 驾驶分回答“有没有沿着参考路线向前推进”；

• 指令级验收回答的则是“车辆完成的是不是乘客要求的那个行为”。

高驾驶分与完整指令执行之间的差异

换一种说法，刚才的成功还能保留吗？人类不会永远使用同一句话下达命令。

“跟着前面的绿色汽车”、“不要超过那辆绿车”、“保持在绿车后方”这三种表达方式不同，实际意图却相同。

如果模型真正理解了任务，换一种说法不应该改变执行结果。

但论文发现，在三种保持语义不变的表达下，没有一个 CARLA 系统能够稳定完成同一个 PCU 的两侧任务。

一些模型的成功甚至高度依赖具体措辞。这说明它们并非完全听不见语言，而是语言控制仍然十分脆弱：句子稍微改写，原本成功的行为就可能消失。

长程任务的结果更加严峻。在涉及按顺序访问、条件回退和返回参照点的 504 次运行中，没有一次达到严格成功。

当前模型偶尔能够维持一条简单规则，却很难持续记住“先做什么、遇到某种情况后做什么、最后还要回到哪里”。

类似差距也出现在开放式轨迹预测中。

在 WOD-E2E 上，DriveMA-2B 的单条语义成功率达到 38.38%，成对语义成功率却只有 1.24%。NAVSIM 中接受评测的五个系统，成对语义成功率全部为 0。

这说明问题并不只来自控制器的跟踪误差。在轨迹仍停留于模型预测阶段时，语言对行为的控制就已经可能不足。

nuScenes、NAVSIM 与 WOD-E2E 开放式评测结果

为什么模型“会说、会开”，却未必听话？

论文提出了一个值得重视的解释：在不少训练数据中，语言可能并不是决定动作所必需的信息。

如果一个场景只对应一条专家轨迹，再配上一句描述这条轨迹的话，模型完全可能通过视觉环境、车辆状态和导航信息猜出动作。

即使没有真正理解句子，它仍然可以复现训练数据中最常见的选择，并获得不错的训练损失和驾驶分数。

第二个断点可能发生在执行链路中。

模型或许识别出了车位名称、速度上限或者动作顺序，也可能生成一段听起来合理的解释，但这些信息未必会被完整保留到规划和控制阶段。

理解了句子与把句子里的要求贯彻到车轮是两件不同的事。

第三个问题来自奖励和评测。

如果系统主要因为向前行驶、接近参考路径而获得高分，那么减速等待、保持跟车或停在指定位置，反而可能与“更快推进”的目标产生冲突。

一个高分模型因此可能很会开，却不一定在完成乘客交付的具体任务。

Language2Drive 真正改变的，是「怎样才算听懂」

Language2Drive 不是一个新的自动驾驶模型，而是一把更加严格的尺子。

它带来的启示是，未来的训练数据需要在同一个场景中提供多种可行行为，并让不同指令真正决定不同选择。

模型还需要在规划过程中持续保存目标、约束和任务阶段。训练和评测不仅要奖励“对语言有反应”，还要检查任务有没有被完整做完。

与此同时，还需要把语义选择、轨迹规划与控制器执行拆开诊断，判断错误究竟发生在哪一个环节。

项目已经公开代码、评测协议、模型适配接口和 CARLA-Language2Drive 环境。开发者可以将自己的系统接入同一组成对任务，判断模型升级之后，提升的究竟是驾驶质量，还是语言真的获得了更稳定的行为控制权。

一个值得注意的边界

这项工作目前是一篇 arXiv 预印本，核心贡献是评测框架与基准，并不是宣称已经解决了驾驶 VLA 的指令遵循问题。

某个模型的配对成功率为 0，也不等于它完全不响应语言。它可能完成了部分要求，也可能在少数场景中具备局部能力，只是尚未在严格的成对条件下稳定完成两侧任务。

不同模型的结果还会受到数据集、模型适配器、控制器和运行配置影响，因此不宜根据这组结果得出脱离具体环境的通用模型排名。

此外，CARLA 仿真和重建场景仍然无法覆盖真实道路的全部复杂性。反事实成对测试可以提供比单次成功更强的行为证据，但要进一步区分语言依赖与随机波动，还需要更多场景、随机种子以及真实车辆测试。

自动驾驶 VLA 最吸引人的愿景，是让人可以像与司机交流一样，用语言告诉车辆「我想怎么走」。

但如果乘客换一句话，车辆仍然执行原来的动作，那么语言就还只是系统表面的交互接口，而没有真正进入驾驶决策链路。

Language2Drive 给出的提醒很直接：以后评价一辆听得懂人话的车，不能只问它是否安全到达，也不能只看某一条指令是否碰巧成功。

在多个都能安全完成的选择面前，乘客能否仅凭一句话，稳定得到自己要求的那一个？当这个问题有了肯定答案，语言才真正从驾驶系统的说明文字，变成方向盘的一部分。（投稿或寻求报道：zhanghy@csdn.net）

当 OpenAI、Anthropic、Google，到智谱、DeepSeek、Kimi、阿里都开始密集发布自进化相关研究，RSI 正从概念走向真正的技术竞赛。

11 月 20—21 日，2026 奇点智能技术大会「大模型技术：从 Agentic Scaling 到 RSI」专场，将邀请一线研究者与工程专家，围绕 Agentic Scaling、RSI、自进化闭环、持续学习、AI 制造 AI 等关键问题展开分享。

扫描下方海报二维码了解专题参会详情。