网易首页 > 网易号 > 正文 申请入驻

自动驾驶和具身智能共用一套模型,这事可行吗?

0
分享至

[首发于智驾最前沿微信公众号]2026年CVPR大会上,特斯拉AI软件副总裁Ashok Elluswamy说,他们不是在造一个驾驶产品,而是在为所有机器人构建一个统一的基础模型。

同一套模型,今天开车,明天就在工厂里搬箱子。

其实具身智能与自动驾驶在技术上有很多相似性,共用同一套模型这个想法,也有很多企业在尝试,那这事可行吗?

01

统一模型的技术基础是什么?

在具身智能概念刚出来的时候,很多人将自动驾驶作为具身智能的一种形态。

但相较于我们所熟悉的类人具身智能,自动驾驶与其在任务层面有着显著差异。

自动驾驶的使用场景主要是在结构化的道路上,自由度低,但安全性要求极高。

具身智能强调的是在非结构化的环境中工作,自由度动辄几十个,需要处理物理接触的场景。

从使用场景看,自动驾驶与具身智能的差异还是很大的,那他们共用模型的基础在哪里?

其实无论是汽车还是机器人,都需要感知三维空间、理解物体之间的关系、预测环境变化、规划行动路径。

这些能力听上去各自独立,但本质上都指向同一个问题,那就是系统如何在自己的内部表征中构建对外部物理世界的认知。

这种跨形态的共性需求,正是探索统一模型架构的起点。



图片源自:网络

ACE-Brain系列工作在这方面就提出了很有代表性的观点。

ACE-Brain是由大晓机器人联合上海交通大学、南洋理工大学、香港中文大学、香港大学等机构共同推出的具身智能基础模型。

其核心思路是以空间智能作为跨不同硬件形态的通用语言。

ACE-Brain-0的论文中指出,虽然车辆、机器人和无人机在形态上差异巨大,但它们共享一个共同需求。

也就是对三维心智空间的建模,空间认知能力可以作为跨形态迁移的通用基础。

从模型架构来看,当前自动驾驶和具身智能都涉及VLA框架。

VLA模型可以将视觉感知、语言理解和动作生成统一到同一个模型里。

理想汽车2026年3月发布的MindVLA-o1,以原生多模态MoE Transformer为核心架构。

其通过3D空间理解、多模态思考、统一行为生成、闭环强化学习、软硬件协同设计5大技术创新,将视觉、语言和行动统一到了一个模型中。

理想基座模型负责人詹锟在GTC 2026上则表示,当我们把视觉、语言和行动统一到一个模型中时,它已不再只是自动驾驶模型,而是在逐渐演化为面向物理世界的通用智能体。

基于同一套VLA模型,不仅可以控制车辆,也能够扩展到机器人。

世界模型的加入进一步拓展了统一模型的边界。

世界模型可以让系统在内部模拟环境演化,预测行动之后世界会如何变化。

小鹏在CVPR 2026上展示了其世界模型完整技术图谱,与第二代VLA共同构成物理世界基座模型。

刘先明则将二者关系概括为一体两面,即VLA学习如何行动,世界模型学习行动之后世界会如何变化,两者通过不同训练信号相互增强。

这套基座模型的适用范围不限于自动驾驶,按照小鹏的规划,将从汽车延伸至人形机器人IRON、飞行汽车等具身智能场景。

小米的技术路线也很值得聊一聊。

2026年5月,小米正式发布并开源了Xiaomi OneVL一步式潜空间语言视觉推理框架,将VLA、世界模型以及潜空间推理三大技术路线统一到同一套框架中。

这套框架同时服务于小米汽车和具身机器人两条产品线,其HAD辅助驾驶系统已经融入了自研的MiMo-Embodied具身基座模型,雷军本人也在社交媒体同步宣布了这一消息。

这种跨产品线的统一架构思路,反映的是行业对通用物理世界模型能力边界的持续拓展。

从这些企业的实践也可以看出,自动驾驶积累的海量真实道路数据,为统一模型的训练提供了其他领域难以比拟的规模优势,自动驾驶可以说是通往具身智能的第一块试验田。

02

模型统一的挑战在哪里?

虽然很多企业都在推动统一的大模型用于自动驾驶与具身智能,但这中间存在很多的问题。

自动驾驶与具身智能在数据层的需求就有很大不同,自动驾驶的数据是亿英里级别的,但机器人的操作数据稀缺得多。

它石智航创始人兼CEO陈亦伦在2026WAIC主论坛上指出,工业级自动驾驶系统训练需要约100万小时视频数据,而具身操作需要刻画更复杂的接触式物理规律,至少需要1000万小时合格数据。

数据规模的巨大差距意味着,即便共用模型架构,两个领域的训练也不在同一量级上。

两者对于延迟的要求也不一样,当前VLA模型的推理延迟普遍在100到300毫秒,但具体到不同的应用场景,对延迟的容忍度差异很大。

自动驾驶面临的是高速移动的物理环境。

一辆车以120公里时速行驶时,每秒钟会前进约33米,感知到决策之间的任何延迟都会直接转化为安全隐患。

因此业内一般要求端到端延迟稳定在100毫秒以内。



图片源自:网络

机器人场景则因任务类型不同而差别很大,在仓储物流、家庭服务这类任务中,每次操作之间的间隔可以是几秒甚至更长。

VLA模型几百毫秒的推理延迟完全在可接受范围内;而在高速动态交互的场景中,对延迟会有更苛刻的要求。

小米Xiaomi OneVL就将推理延迟压到了0.24秒,换算成频率大约是4.16Hz,相比传统VLA模型已有大幅提升,仅为自回归推理延迟的5.4%。

这个延迟水平对于多数机器人操作场景已经够用,在量产车端实时部署也有可行性,但面向高速自动驾驶场景仍有优化空间。

除此之外,自动驾驶与具身智能两者任务的差异同样不可忽视。

自动驾驶的交互以不发生接触为前提,而机器人的核心任务恰恰是如抓取、装配、操作等物理接触。

这两种任务对模型的要求不同,一个在驾驶场景中表现良好的模型,切换到机器人操作时可能需要完全不同的输出空间和约束条件。

03

作者观点

智驾最前沿以为,自动驾驶和具身智能共用一套模型在技术上是可行的。

但这并不意味着自动驾驶和具身智能会使用完全相同的模型权重,更可行的路径是在共用架构加上分别微调。

可以让同一个基础模型在大量物理世界数据上完成预训练,然后针对驾驶和操作两个领域分别进行适配。

汽车在路上行驶时采集的视觉数据,对于训练机器人的场景理解能力同样有用。

机器人在操作中积累的物理交互数据,也可帮助自动驾驶系统更好地理解动态障碍物的行为。

这种跨场景的数据复用,将是统一模型带来的真正价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
20万台!iPhone Duo,首销彻底封神

20万台!iPhone Duo,首销彻底封神

搞机小帝
2026-10-29 18:43:13
五连胜的掌声还没散,北京首钢更衣室里的空气已经悄悄变了味儿。

五连胜的掌声还没散,北京首钢更衣室里的空气已经悄悄变了味儿。

夕落秋山
2026-10-31 00:45:50
两名B队小将完成西甲首秀,西班牙人官方送上祝贺

两名B队小将完成西甲首秀,西班牙人官方送上祝贺

懂球帝
2026-10-31 10:13:21
纯钛杯、纯钛餐具的第一批受害者出现了…

纯钛杯、纯钛餐具的第一批受害者出现了…

新住家居
2026-10-24 18:06:53
太爽了!中国公开“耍流氓”,美国气的火冒三丈,报应来的太快了

太爽了!中国公开“耍流氓”,美国气的火冒三丈,报应来的太快了

故事终将光明磊落
2026-10-27 11:52:46
今日重要赛事!10月31日,央视CCTV5、CCTV5+节目表

今日重要赛事!10月31日,央视CCTV5、CCTV5+节目表

薇说体育
2026-10-31 10:21:25
夏文义同志逝世

夏文义同志逝世

政知新媒体
2026-10-30 23:59:21
四川一维修队打开下水道,发现里面躺着3个女人,一查身份吓一跳

四川一维修队打开下水道,发现里面躺着3个女人,一查身份吓一跳

清茶浅谈
2025-03-30 15:06:25
卷土重来!75岁王石集结万科老班底杀回地产,新公司底牌曝光

卷土重来!75岁王石集结万科老班底杀回地产,新公司底牌曝光

秋别离
2026-10-30 18:16:19
30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

三农雷哥
2026-09-05 12:16:13
腰细屁股大的人偷着乐吧!这个被嫌弃“缺点”,竟是长寿体质

腰细屁股大的人偷着乐吧!这个被嫌弃“缺点”,竟是长寿体质

皓皓情感说
2026-10-27 08:42:28
“纵火焚烧垃圾桶,向警察投掷物品……”外媒:意大利再次爆发抗议活动,出现暴力行为

“纵火焚烧垃圾桶,向警察投掷物品……”外媒:意大利再次爆发抗议活动,出现暴力行为

环球网资讯
2026-10-31 22:41:06
人民日报锐评“年轻人养不起老年人了”:养老金不是“大锅饭” ,并非谁亏欠了谁

人民日报锐评“年轻人养不起老年人了”:养老金不是“大锅饭” ,并非谁亏欠了谁

21世纪经济报道
2026-10-30 13:42:36
1981年,年轻的唐国强、斯琴高娃、张瑜合影

1981年,年轻的唐国强、斯琴高娃、张瑜合影

年代回忆
2026-10-28 22:54:13
反诈博主“徽剑”被绑走第一现场近照曝光,事发地为广东一农贸市场顶楼露天停车场,底商繁忙人流密集,停车场值班人员称“到处都是监控”

反诈博主“徽剑”被绑走第一现场近照曝光,事发地为广东一农贸市场顶楼露天停车场,底商繁忙人流密集,停车场值班人员称“到处都是监控”

大风新闻
2026-10-30 15:40:04
演员白宇帆发文承认已有孩子,正式回应隐婚生子传闻

演员白宇帆发文承认已有孩子,正式回应隐婚生子传闻

台州交通广播
2026-10-31 03:47:18
男人开始衰老的5大迹象,如果你一个不占,恭喜你还很硬朗

男人开始衰老的5大迹象,如果你一个不占,恭喜你还很硬朗

新时代的两性情感
2026-10-24 17:18:18
日本深山惊现巨大SOS,获救者却说不是他们摆的!警方重返现场挖出白骨、录音机,按下播放键后全场死寂……

日本深山惊现巨大SOS,获救者却说不是他们摆的!警方重返现场挖出白骨、录音机,按下播放键后全场死寂……

徐德文科学频道
2026-10-31 02:51:47
《披哥6》成团收官!小沈阳总冠军,孙楠X-Leader,满江卡位,4人没成团

《披哥6》成团收官!小沈阳总冠军,孙楠X-Leader,满江卡位,4人没成团

水中烧烤的娱
2026-10-31 00:04:48
重型货车高速上只跑33km/h,被拉警笛喊话后依然“龟速”,司机:油门踩大了费油,老板会生气,要说我技术不好

重型货车高速上只跑33km/h,被拉警笛喊话后依然“龟速”,司机:油门踩大了费油,老板会生气,要说我技术不好

江津融媒
2026-10-31 16:05:07
2026-10-31 23:23:00
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

江苏首富夫妇身家一年暴涨1120亿元 胡润直呼"最意外"

头条要闻

江苏首富夫妇身家一年暴涨1120亿元 胡润直呼"最意外"

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

41岁吾恩胃癌七年去世,伴侣也确诊癌

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

迪迪虾好帮手 腾势N8L绝不是简单的交通工具了

态度原创

房产
旅游
手机
本地
公开课

房产要闻

单月杀进全省前十!崖州卖最火的盘,产品真能打

旅游要闻

县域康养旅居受热捧 入境游银发客源增多

手机要闻

万圣节最硬核COS!两名女生扮成iPhone Duo:手举2TB牌子引众人围观

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版