网易首页 > 网易号 > 正文 申请入驻

自动驾驶VLA中的语言起到什么作用?

0
分享至

本文首发于智驾最前沿微信公众号,随着端到端技术的发展,VLA模型在自动驾驶中有了一席之地。

VLA模型,即视觉-语言-动作模型,很多人在了解到这个模型时,都会很好奇,VLA中的语言到底有什么作用?其和我们熟知的座舱语音助手类似吗?

其实在VLA模型中,语言所扮演的角色远超出与人对话的范畴,它并不是服务于乘客的语音助手,而是自动驾驶系统自身的认知中枢。

在看见与行动之间,语言提供了至关重要的理解与推理能力。这种能力的加入,使自动驾驶从基于统计的条件反射,演进为基于认知的理解后决策。

01

从看见像素到理解场景

传统端到端自动驾驶模型能够精准地完成目标检测,却难以理解场景背后的深层含义,VLA中的语言模块则从根本上改变了这一点。

通过视觉编码器与语言编码器的深度融合,模型能够将视觉感知到的空间信息与语言蕴含的语义知识对齐。

例如,系统不仅能识别出前方有一个锥桶,更能结合施工标志和车道线变化等信息,推理出这是一个施工区域,我需要减速并准备绕行。



图片源自:网络

想要实现这种理解能力,关键在于多模态信息的融合。

语言编码器(如GPT类模型)可将自然语言指令或场景描述转换为高维语义向量,与视觉编码器提取的空间特征在统一的表示空间中进行交互。

正是这种融合,让VLA模型具备了处理长尾场景的能力。

像是狭窄居民区中可能从车缝突然出现的行人、无保护左转路口对向来车速度与让行关系的判断、施工区域的临时改道等场景,仅依靠从视觉输入到驾驶动作的直接映射,难以应对。

而语言模块所蕴含的互联网规模常识知识与因果推理能力,恰好补上了这一环。

02

语言如何驱动规划

语言对驾驶最深远的影响,其实体现在决策与规划环节。

VLA中的语言模块能够进行思维链推理,也就是像人类司机一样,在脑中进行一系列结构化的思考。

被NeurIPS 2025接收的AutoVLA模型,就将思维链推理与物理动作Token化相结合,通过统一的自回归生成过程直接生成规划轨迹。

该模型设计了快思考(仅输出轨迹)和慢思考(结合思维链推理)两种模式。

在复杂场景下(如施工区域、模糊路口),模型会启用慢思考模式,生成类似前方路口绿灯即将变黄,左侧有行人等待,因此我应减速准备停车的内部推理链,再基于此生成驾驶轨迹。



图片源自:网络

而在简单场景中则采用快思考模式以提升效率。

VLA模型中语言推理出的驾驶意图还可以直接参与并引导轨迹的生成。

香港中文大学MMLab、理想汽车和清华大学联合提出的MindVLA-U1模型,就通过Classifier-Free Guidance(CFG)机制让语言侧预测的驾驶意图直接参与连续轨迹生成。

实验数据显示,该模型在WOD-E2E自动驾驶benchmark上的验证集RFS(路线完成分数)达到8.20,而人类驾驶参考轨迹的RFS为8.13。

也就是说,模型在开放环评测中生成的轨迹质量首次超越了人类驾驶参考标准。

03

可解释性与人机信任的桥梁

自动驾驶的黑盒问题长期制约着公众信任与法规落地,语言模块的引入为解决这一问题提供了可行的技术路径。

VLA模型能够将内部的推理过程以自然语言的形式输出,生成决策的依据。

英伟达于2025年12月在NeurIPS大会上发布了开源VLA推理模型NVIDIA DRIVE Alpamayo-R1(AR1),并将其描述为全球首个工业级开源推理视觉语言动作自动驾驶模型。

该模型创新性地将思维链AI推理与路径规划技术深度融合。

在行人密集且紧邻自行车道的区域,搭载AR1的车辆可通过思维链进行推理,完成采集行驶路径数据,整合推理轨迹(即系统对采取特定操作的解释说明),继而规划后续行驶路线。



图片源自:网络

AR1基于NVIDIA Cosmos Reason构建,这种可解释的AI司机,对于安全验证与法规审查都具有重要的意义。

魏牌全新蓝山智能进阶版搭载的VLA大模型同样提供了CoT推理卡片功能,可以将辅助驾驶的推理过程实时呈现给用户,每次刹车、绕行的理由都清晰可见。

04

最后的话

语言的加入,本质上是在回答驾驶中最核心的那个问题,即车到底有没有真正理解它所处的环境和要应对的局面。

VLA被推向量产,意味着行业已经认可了这条路径。

接下来要讨论的已不再是VLA能不能用,而是怎么用得更聪明,也就是如何用有限的算力做出更关键的推理,让决策既可解释又可信,从能用走向好用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
罗东川、王伟中、刘伟、倪虹、王刚、李超、吴汉圣、陈刚,出镜《新闻联播》谈学习贯彻五中全会精神

罗东川、王伟中、刘伟、倪虹、王刚、李超、吴汉圣、陈刚,出镜《新闻联播》谈学习贯彻五中全会精神

政知新媒体
2026-10-31 00:26:13
断崖崩盘!巴萨 8000 万水货彻底现形!弗里克高价引援踩大坑

断崖崩盘!巴萨 8000 万水货彻底现形!弗里克高价引援踩大坑

澜归序
2026-10-31 09:44:59
他连续多天在星巴克不消费占座,被劝离后报警了:律师一句话,把底裤扒干净了

他连续多天在星巴克不消费占座,被劝离后报警了:律师一句话,把底裤扒干净了

富贵说
2026-10-30 20:10:15
曝安洗莹考虑退出韩国站!已取10冠自己戴上皇冠 韩媒:史上最佳之一

曝安洗莹考虑退出韩国站!已取10冠自己戴上皇冠 韩媒:史上最佳之一

颜小白的篮球梦
2026-10-31 12:14:18
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

林林先生
2026-10-21 18:10:25
阿拉斯加一头熊因屁股挂多条绦虫,获颁"最佳宿主奖"

阿拉斯加一头熊因屁股挂多条绦虫,获颁"最佳宿主奖"

算力游侠
2026-10-29 01:24:25
陈宇航任惠州市委书记,尹念红任中山市委书记

陈宇航任惠州市委书记,尹念红任中山市委书记

界面新闻
2026-10-31 12:44:04
就在今天!一个尘封39年的纪录,被詹姆斯打破了

就在今天!一个尘封39年的纪录,被詹姆斯打破了

篮球大视野
2026-10-31 15:52:06
穆帅团队重塑皇马体能体系,解决了皇马过去3年最大的顽疾

穆帅团队重塑皇马体能体系,解决了皇马过去3年最大的顽疾

福酱的小时光
2026-10-31 17:14:43
知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

念洲
2026-10-31 06:13:23
全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

娱乐圈十三太保
2026-10-30 22:10:51
别不信,“父母走后,三亲要断”,哪三亲?有道理吗?早看早知道

别不信,“父母走后,三亲要断”,哪三亲?有道理吗?早看早知道

宝哥精彩赛事
2026-10-31 12:48:10
做什么小生意可以一辈子不上班,翻完评论区我直接辞职的心都有了

做什么小生意可以一辈子不上班,翻完评论区我直接辞职的心都有了

夜深爱杂谈
2026-10-30 21:31:46
A股:股民做好准备!不管几成仓位,下周一11.2开盘前一定要谨记

A股:股民做好准备!不管几成仓位,下周一11.2开盘前一定要谨记

趋势博谈
2026-10-31 09:25:00
深圳一住宅法拍现蹊跷:有人连续出价63次抬高150万,最终被优先购买权人拍走

深圳一住宅法拍现蹊跷:有人连续出价63次抬高150万,最终被优先购买权人拍走

红星资本局
2026-10-31 15:57:21
深圳两座地铁站被称“幽灵站”?官方回应背后原因

深圳两座地铁站被称“幽灵站”?官方回应背后原因

南方都市报
2026-10-30 22:44:41
上海一车主主动给公交车让道,公交司机伸手致谢,不料下一秒……

上海一车主主动给公交车让道,公交司机伸手致谢,不料下一秒……

上观新闻
2026-10-31 14:48:59
蓉城已错过6个冠军点!李玮锋:仍看好他们夺冠 英博缺少冠军气质

蓉城已错过6个冠军点!李玮锋:仍看好他们夺冠 英博缺少冠军气质

风过乡
2026-10-31 08:59:20
3-0,3-1!就在刚刚,WTT冠军赛乱套了:两大争冠热门接连出局!29岁周启豪掀翻世界第二!国乒男队荡气回肠!

3-0,3-1!就在刚刚,WTT冠军赛乱套了:两大争冠热门接连出局!29岁周启豪掀翻世界第二!国乒男队荡气回肠!

锐评利物浦
2026-10-31 10:13:42
为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

柚子新媒
2026-10-30 12:09:37
2026-10-31 17:52:49
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

女子减重40斤后被指撞脸王祖贤 已去景区扮演"聂小倩"

头条要闻

女子减重40斤后被指撞脸王祖贤 已去景区扮演"聂小倩"

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

教育
本地
艺术
公开课
军事航空

教育要闻

一眼就能看出答案的几何题,孩子没有解答出来

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

艺术要闻

日本发现董其昌书法,与以往风格大不相同,这字体现了他的真实水平!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国批准向乌克兰出售500枚爱国者导弹

无障碍浏览 进入关怀版