网易首页 > 网易号 > 正文 申请入驻

自动驾驶和具身智能共用一套模型,这事可行吗?

0
分享至

[首发于智驾最前沿微信公众号]2026年CVPR大会上,特斯拉AI软件副总裁Ashok Elluswamy说,他们不是在造一个驾驶产品,而是在为所有机器人构建一个统一的基础模型。

同一套模型,今天开车,明天就在工厂里搬箱子。

其实具身智能与自动驾驶在技术上有很多相似性,共用同一套模型这个想法,也有很多企业在尝试,那这事可行吗?

01

统一模型的技术基础是什么?

在具身智能概念刚出来的时候,很多人将自动驾驶作为具身智能的一种形态。

但相较于我们所熟悉的类人具身智能,自动驾驶与其在任务层面有着显著差异。

自动驾驶的使用场景主要是在结构化的道路上,自由度低,但安全性要求极高。

具身智能强调的是在非结构化的环境中工作,自由度动辄几十个,需要处理物理接触的场景。

从使用场景看,自动驾驶与具身智能的差异还是很大的,那他们共用模型的基础在哪里?

其实无论是汽车还是机器人,都需要感知三维空间、理解物体之间的关系、预测环境变化、规划行动路径。

这些能力听上去各自独立,但本质上都指向同一个问题,那就是系统如何在自己的内部表征中构建对外部物理世界的认知。

这种跨形态的共性需求,正是探索统一模型架构的起点。



图片源自:网络

ACE-Brain系列工作在这方面就提出了很有代表性的观点。

ACE-Brain是由大晓机器人联合上海交通大学、南洋理工大学、香港中文大学、香港大学等机构共同推出的具身智能基础模型。

其核心思路是以空间智能作为跨不同硬件形态的通用语言。

ACE-Brain-0的论文中指出,虽然车辆、机器人和无人机在形态上差异巨大,但它们共享一个共同需求。

也就是对三维心智空间的建模,空间认知能力可以作为跨形态迁移的通用基础。

从模型架构来看,当前自动驾驶和具身智能都涉及VLA框架。

VLA模型可以将视觉感知、语言理解和动作生成统一到同一个模型里。

理想汽车2026年3月发布的MindVLA-o1,以原生多模态MoE Transformer为核心架构。

其通过3D空间理解、多模态思考、统一行为生成、闭环强化学习、软硬件协同设计5大技术创新,将视觉、语言和行动统一到了一个模型中。

理想基座模型负责人詹锟在GTC 2026上则表示,当我们把视觉、语言和行动统一到一个模型中时,它已不再只是自动驾驶模型,而是在逐渐演化为面向物理世界的通用智能体。

基于同一套VLA模型,不仅可以控制车辆,也能够扩展到机器人。

世界模型的加入进一步拓展了统一模型的边界。

世界模型可以让系统在内部模拟环境演化,预测行动之后世界会如何变化。

小鹏在CVPR 2026上展示了其世界模型完整技术图谱,与第二代VLA共同构成物理世界基座模型。

刘先明则将二者关系概括为一体两面,即VLA学习如何行动,世界模型学习行动之后世界会如何变化,两者通过不同训练信号相互增强。

这套基座模型的适用范围不限于自动驾驶,按照小鹏的规划,将从汽车延伸至人形机器人IRON、飞行汽车等具身智能场景。

小米的技术路线也很值得聊一聊。

2026年5月,小米正式发布并开源了Xiaomi OneVL一步式潜空间语言视觉推理框架,将VLA、世界模型以及潜空间推理三大技术路线统一到同一套框架中。

这套框架同时服务于小米汽车和具身机器人两条产品线,其HAD辅助驾驶系统已经融入了自研的MiMo-Embodied具身基座模型,雷军本人也在社交媒体同步宣布了这一消息。

这种跨产品线的统一架构思路,反映的是行业对通用物理世界模型能力边界的持续拓展。

从这些企业的实践也可以看出,自动驾驶积累的海量真实道路数据,为统一模型的训练提供了其他领域难以比拟的规模优势,自动驾驶可以说是通往具身智能的第一块试验田。

02

模型统一的挑战在哪里?

虽然很多企业都在推动统一的大模型用于自动驾驶与具身智能,但这中间存在很多的问题。

自动驾驶与具身智能在数据层的需求就有很大不同,自动驾驶的数据是亿英里级别的,但机器人的操作数据稀缺得多。

它石智航创始人兼CEO陈亦伦在2026WAIC主论坛上指出,工业级自动驾驶系统训练需要约100万小时视频数据,而具身操作需要刻画更复杂的接触式物理规律,至少需要1000万小时合格数据。

数据规模的巨大差距意味着,即便共用模型架构,两个领域的训练也不在同一量级上。

两者对于延迟的要求也不一样,当前VLA模型的推理延迟普遍在100到300毫秒,但具体到不同的应用场景,对延迟的容忍度差异很大。

自动驾驶面临的是高速移动的物理环境。

一辆车以120公里时速行驶时,每秒钟会前进约33米,感知到决策之间的任何延迟都会直接转化为安全隐患。

因此业内一般要求端到端延迟稳定在100毫秒以内。



图片源自:网络

机器人场景则因任务类型不同而差别很大,在仓储物流、家庭服务这类任务中,每次操作之间的间隔可以是几秒甚至更长。

VLA模型几百毫秒的推理延迟完全在可接受范围内;而在高速动态交互的场景中,对延迟会有更苛刻的要求。

小米Xiaomi OneVL就将推理延迟压到了0.24秒,换算成频率大约是4.16Hz,相比传统VLA模型已有大幅提升,仅为自回归推理延迟的5.4%。

这个延迟水平对于多数机器人操作场景已经够用,在量产车端实时部署也有可行性,但面向高速自动驾驶场景仍有优化空间。

除此之外,自动驾驶与具身智能两者任务的差异同样不可忽视。

自动驾驶的交互以不发生接触为前提,而机器人的核心任务恰恰是如抓取、装配、操作等物理接触。

这两种任务对模型的要求不同,一个在驾驶场景中表现良好的模型,切换到机器人操作时可能需要完全不同的输出空间和约束条件。

03

作者观点

智驾最前沿以为,自动驾驶和具身智能共用一套模型在技术上是可行的。

但这并不意味着自动驾驶和具身智能会使用完全相同的模型权重,更可行的路径是在共用架构加上分别微调。

可以让同一个基础模型在大量物理世界数据上完成预训练,然后针对驾驶和操作两个领域分别进行适配。

汽车在路上行驶时采集的视觉数据,对于训练机器人的场景理解能力同样有用。

机器人在操作中积累的物理交互数据,也可帮助自动驾驶系统更好地理解动态障碍物的行为。

这种跨场景的数据复用,将是统一模型带来的真正价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
罗东川、王伟中、刘伟、倪虹、王刚、李超、吴汉圣、陈刚,出镜《新闻联播》谈学习贯彻五中全会精神

罗东川、王伟中、刘伟、倪虹、王刚、李超、吴汉圣、陈刚,出镜《新闻联播》谈学习贯彻五中全会精神

政知新媒体
2026-10-31 00:26:13
断崖崩盘!巴萨 8000 万水货彻底现形!弗里克高价引援踩大坑

断崖崩盘!巴萨 8000 万水货彻底现形!弗里克高价引援踩大坑

澜归序
2026-10-31 09:44:59
他连续多天在星巴克不消费占座,被劝离后报警了:律师一句话,把底裤扒干净了

他连续多天在星巴克不消费占座,被劝离后报警了:律师一句话,把底裤扒干净了

富贵说
2026-10-30 20:10:15
曝安洗莹考虑退出韩国站!已取10冠自己戴上皇冠 韩媒:史上最佳之一

曝安洗莹考虑退出韩国站!已取10冠自己戴上皇冠 韩媒:史上最佳之一

颜小白的篮球梦
2026-10-31 12:14:18
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

林林先生
2026-10-21 18:10:25
阿拉斯加一头熊因屁股挂多条绦虫,获颁"最佳宿主奖"

阿拉斯加一头熊因屁股挂多条绦虫,获颁"最佳宿主奖"

算力游侠
2026-10-29 01:24:25
陈宇航任惠州市委书记,尹念红任中山市委书记

陈宇航任惠州市委书记,尹念红任中山市委书记

界面新闻
2026-10-31 12:44:04
就在今天!一个尘封39年的纪录,被詹姆斯打破了

就在今天!一个尘封39年的纪录,被詹姆斯打破了

篮球大视野
2026-10-31 15:52:06
穆帅团队重塑皇马体能体系,解决了皇马过去3年最大的顽疾

穆帅团队重塑皇马体能体系,解决了皇马过去3年最大的顽疾

福酱的小时光
2026-10-31 17:14:43
知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

念洲
2026-10-31 06:13:23
全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

娱乐圈十三太保
2026-10-30 22:10:51
别不信,“父母走后,三亲要断”,哪三亲?有道理吗?早看早知道

别不信,“父母走后,三亲要断”,哪三亲?有道理吗?早看早知道

宝哥精彩赛事
2026-10-31 12:48:10
做什么小生意可以一辈子不上班,翻完评论区我直接辞职的心都有了

做什么小生意可以一辈子不上班,翻完评论区我直接辞职的心都有了

夜深爱杂谈
2026-10-30 21:31:46
A股:股民做好准备!不管几成仓位,下周一11.2开盘前一定要谨记

A股:股民做好准备!不管几成仓位,下周一11.2开盘前一定要谨记

趋势博谈
2026-10-31 09:25:00
深圳一住宅法拍现蹊跷:有人连续出价63次抬高150万,最终被优先购买权人拍走

深圳一住宅法拍现蹊跷:有人连续出价63次抬高150万,最终被优先购买权人拍走

红星资本局
2026-10-31 15:57:21
深圳两座地铁站被称“幽灵站”?官方回应背后原因

深圳两座地铁站被称“幽灵站”?官方回应背后原因

南方都市报
2026-10-30 22:44:41
上海一车主主动给公交车让道,公交司机伸手致谢,不料下一秒……

上海一车主主动给公交车让道,公交司机伸手致谢,不料下一秒……

上观新闻
2026-10-31 14:48:59
蓉城已错过6个冠军点!李玮锋:仍看好他们夺冠 英博缺少冠军气质

蓉城已错过6个冠军点!李玮锋:仍看好他们夺冠 英博缺少冠军气质

风过乡
2026-10-31 08:59:20
3-0,3-1!就在刚刚,WTT冠军赛乱套了:两大争冠热门接连出局!29岁周启豪掀翻世界第二!国乒男队荡气回肠!

3-0,3-1!就在刚刚,WTT冠军赛乱套了:两大争冠热门接连出局!29岁周启豪掀翻世界第二!国乒男队荡气回肠!

锐评利物浦
2026-10-31 10:13:42
为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

柚子新媒
2026-10-30 12:09:37
2026-10-31 17:52:49
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

女子减重40斤后被指撞脸王祖贤 已去景区扮演"聂小倩"

头条要闻

女子减重40斤后被指撞脸王祖贤 已去景区扮演"聂小倩"

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

时尚
旅游
手机
教育
房产

别再穿马蹄鞋、小棕鞋了,这双鞋才是秋冬穿搭的“顶流”

旅游要闻

何以中国·壮美八桂|“门票经济”之外,桂林文旅正寻找新的增长点

手机要闻

消息称某厂子系阔直板2027见,预计为小米REDMI旗下

教育要闻

一眼就能看出答案的几何题,孩子没有解答出来

房产要闻

单月杀进全省前十!崖州卖最火的盘,产品真能打

无障碍浏览 进入关怀版