网易首页 > 网易号 > 正文 申请入驻

自动驾驶VLA中的语言起到什么作用?

0
分享至

本文首发于智驾最前沿微信公众号,随着端到端技术的发展,VLA模型在自动驾驶中有了一席之地。

VLA模型,即视觉-语言-动作模型,很多人在了解到这个模型时,都会很好奇,VLA中的语言到底有什么作用?其和我们熟知的座舱语音助手类似吗?

其实在VLA模型中,语言所扮演的角色远超出与人对话的范畴,它并不是服务于乘客的语音助手,而是自动驾驶系统自身的认知中枢。

在看见与行动之间,语言提供了至关重要的理解与推理能力。这种能力的加入,使自动驾驶从基于统计的条件反射,演进为基于认知的理解后决策。

01

从看见像素到理解场景

传统端到端自动驾驶模型能够精准地完成目标检测,却难以理解场景背后的深层含义,VLA中的语言模块则从根本上改变了这一点。

通过视觉编码器与语言编码器的深度融合,模型能够将视觉感知到的空间信息与语言蕴含的语义知识对齐。

例如,系统不仅能识别出前方有一个锥桶,更能结合施工标志和车道线变化等信息,推理出这是一个施工区域,我需要减速并准备绕行。



图片源自:网络

想要实现这种理解能力,关键在于多模态信息的融合。

语言编码器(如GPT类模型)可将自然语言指令或场景描述转换为高维语义向量,与视觉编码器提取的空间特征在统一的表示空间中进行交互。

正是这种融合,让VLA模型具备了处理长尾场景的能力。

像是狭窄居民区中可能从车缝突然出现的行人、无保护左转路口对向来车速度与让行关系的判断、施工区域的临时改道等场景,仅依靠从视觉输入到驾驶动作的直接映射,难以应对。

而语言模块所蕴含的互联网规模常识知识与因果推理能力,恰好补上了这一环。

02

语言如何驱动规划

语言对驾驶最深远的影响,其实体现在决策与规划环节。

VLA中的语言模块能够进行思维链推理,也就是像人类司机一样,在脑中进行一系列结构化的思考。

被NeurIPS 2025接收的AutoVLA模型,就将思维链推理与物理动作Token化相结合,通过统一的自回归生成过程直接生成规划轨迹。

该模型设计了快思考(仅输出轨迹)和慢思考(结合思维链推理)两种模式。

在复杂场景下(如施工区域、模糊路口),模型会启用慢思考模式,生成类似前方路口绿灯即将变黄,左侧有行人等待,因此我应减速准备停车的内部推理链,再基于此生成驾驶轨迹。



图片源自:网络

而在简单场景中则采用快思考模式以提升效率。

VLA模型中语言推理出的驾驶意图还可以直接参与并引导轨迹的生成。

香港中文大学MMLab、理想汽车和清华大学联合提出的MindVLA-U1模型,就通过Classifier-Free Guidance(CFG)机制让语言侧预测的驾驶意图直接参与连续轨迹生成。

实验数据显示,该模型在WOD-E2E自动驾驶benchmark上的验证集RFS(路线完成分数)达到8.20,而人类驾驶参考轨迹的RFS为8.13。

也就是说,模型在开放环评测中生成的轨迹质量首次超越了人类驾驶参考标准。

03

可解释性与人机信任的桥梁

自动驾驶的黑盒问题长期制约着公众信任与法规落地,语言模块的引入为解决这一问题提供了可行的技术路径。

VLA模型能够将内部的推理过程以自然语言的形式输出,生成决策的依据。

英伟达于2025年12月在NeurIPS大会上发布了开源VLA推理模型NVIDIA DRIVE Alpamayo-R1(AR1),并将其描述为全球首个工业级开源推理视觉语言动作自动驾驶模型。

该模型创新性地将思维链AI推理与路径规划技术深度融合。

在行人密集且紧邻自行车道的区域,搭载AR1的车辆可通过思维链进行推理,完成采集行驶路径数据,整合推理轨迹(即系统对采取特定操作的解释说明),继而规划后续行驶路线。



图片源自:网络

AR1基于NVIDIA Cosmos Reason构建,这种可解释的AI司机,对于安全验证与法规审查都具有重要的意义。

魏牌全新蓝山智能进阶版搭载的VLA大模型同样提供了CoT推理卡片功能,可以将辅助驾驶的推理过程实时呈现给用户,每次刹车、绕行的理由都清晰可见。

04

最后的话

语言的加入,本质上是在回答驾驶中最核心的那个问题,即车到底有没有真正理解它所处的环境和要应对的局面。

VLA被推向量产,意味着行业已经认可了这条路径。

接下来要讨论的已不再是VLA能不能用,而是怎么用得更聪明,也就是如何用有限的算力做出更关键的推理,让决策既可解释又可信,从能用走向好用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一个料酒,是厨房最大的谎言!所有的肉,都有一个天生克星!

一个料酒,是厨房最大的谎言!所有的肉,都有一个天生克星!

华庭讲美食
2026-10-24 12:08:22
被嘲笑了4年的俄罗斯突然发现,美军只打了1个月,就比它还拉胯

被嘲笑了4年的俄罗斯突然发现,美军只打了1个月,就比它还拉胯

史说方休
2026-10-31 20:01:07
保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

保利集团董事长贺平的人生颇具传奇色彩:他娶了邓小平的女儿为妻,还曾低调斥资3000万元收回三件国宝

z千年历史老号
2026-09-07 11:43:45
为什么国家拼命让更多的人缴纳社保?

为什么国家拼命让更多的人缴纳社保?

细说职场
2026-10-28 22:18:33
山西女孩绝食7天硬扛父母反对,执意嫁给1.1米二婚特型演员,2026年生下孩子娘家才首次登门,如今过得怎么样?

山西女孩绝食7天硬扛父母反对,执意嫁给1.1米二婚特型演员,2026年生下孩子娘家才首次登门,如今过得怎么样?

背包旅行
2026-10-30 15:48:33
戴耳机夺冠被举报?组委会回复一出,跑圈全沉默了…

戴耳机夺冠被举报?组委会回复一出,跑圈全沉默了…

小方说跑步
2026-10-30 17:09:56
特朗普:伊朗战事将“很快结束” 届时汽油、柴油以及其他各类商品的价格都会下降

特朗普:伊朗战事将“很快结束” 届时汽油、柴油以及其他各类商品的价格都会下降

闪电新闻
2026-10-31 11:34:21
日本拍到反常一幕!055后面跟着艘船,没装导弹却比军舰还要扎眼?

日本拍到反常一幕!055后面跟着艘船,没装导弹却比军舰还要扎眼?

史说方休
2026-10-31 20:04:08
“徽剑”唯一在世血亲不同意签刑事谅解书:他死得太惨了,希望主凶被判死刑

“徽剑”唯一在世血亲不同意签刑事谅解书:他死得太惨了,希望主凶被判死刑

上观新闻
2026-10-31 19:20:38
DeepSeek、Kimi两面受困:榜单差距拉大,被指蒸馏GPT-6

DeepSeek、Kimi两面受困:榜单差距拉大,被指蒸馏GPT-6

智猩猩
2026-10-30 16:32:23
反诈主播何希哥疑似在缅北直播时出事,有网友称其送医不治

反诈主播何希哥疑似在缅北直播时出事,有网友称其送医不治

阿废冷眼观察所
2026-10-31 00:52:33
印度确认:已坠毁

印度确认:已坠毁

陆弃
2026-10-31 09:34:20
涉电动汽车、App适老化等,500多项国家标准11月起实施

涉电动汽车、App适老化等,500多项国家标准11月起实施

界面新闻
2026-10-31 18:05:58
BBA又输了!9月售价40万以上豪车销量榜:国产包揽前三

BBA又输了!9月售价40万以上豪车销量榜:国产包揽前三

快科技
2026-10-30 16:23:08
欧巴佩采访时为什么会被问到表情包问题?是他自找的啊

欧巴佩采访时为什么会被问到表情包问题?是他自找的啊

李昕言温度空间
2026-10-30 19:41:00
美国慌了,日本急了,印度懵了,因为他们察觉,歼-20还不是最顶尖的,中国的实力远不止明面上的这点实力

美国慌了,日本急了,印度懵了,因为他们察觉,歼-20还不是最顶尖的,中国的实力远不止明面上的这点实力

林杰论事
2026-10-29 12:49:47
日本人早已看透:一旦中日真开战,中国根本不是只打眼前这一仗

日本人早已看透:一旦中日真开战,中国根本不是只打眼前这一仗

阿芒娱乐说
2026-10-21 07:59:10
丰田新车官宣:11月5日,正式发布!

丰田新车官宣:11月5日,正式发布!

科技堡垒
2026-10-29 10:52:16
德米凯利斯:哲科到现在还在踢球太疯狂了

德米凯利斯:哲科到现在还在踢球太疯狂了

懂球帝
2026-10-30 23:16:20
沉默6天后,中方回应来了,要求菲方拖走军舰,马科斯将赴华参会

沉默6天后,中方回应来了,要求菲方拖走军舰,马科斯将赴华参会

掉了颗大白兔糖
2026-10-31 16:44:10
2026-10-31 21:04:49
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

22岁小伙和17岁朋友登山双双坠亡:一人直接倒挂崖壁

头条要闻

22岁小伙和17岁朋友登山双双坠亡:一人直接倒挂崖壁

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

41岁吾恩胃癌七年去世,伴侣也确诊癌

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

本地
手机
家居
数码
公开课

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

手机要闻

华为首款星芒手机来袭:主攻线上渠道 定价亲民

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

28核加DDR5-8000立功!Intel Nova Lake-S游戏性能预测最高涨33%

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版