网易首页 > 网易号 > 正文 申请入驻

MR设备普及是李飞飞世界模型的模拟器底座

0
分享至

最近李飞飞的一篇文章火了,长文介绍了世界模型的构成,以及所需要的部分。


介绍了真正的AI不应该只是文本,李飞飞当之无愧的成为现在世界模型的第一推行梯队。

现在我正在前往WWDC的飞机上,如果你对WWDC直播感兴趣可以点击直播预约

这篇文章是原文地址,我将其翻译为中文了

李飞飞在推崇世界模型之外,但是你去追寻她的所有相关公开发言,从来没有提及过vision Pro,以及MR设备。

而她提及多的就是世界模型与具身智能的关系,对于MR设备产业的上下游她几乎不清楚。

而今天我想提的是空间计算设备,也就是像Apple vision Pro以及AndroidXR、以及PICO swan这些MR设备才是世界模型的底座。

只有他们才能够提供人类现在没有的数据,空间、深度、以及人类互动数据。当MR设备普及、用户使用时长越来越多,空间照片、空间视频越来越多,我们才能够得训练与制作模拟器。

在李飞飞最新的文章提到:渲染器是比较成熟的,比如像现在的ChatGPT image2 、Gemini等这些都是渲染器,而模拟器要的是空间数据、深度数据

而这一切都要来自空间计算,谁能够拥有大量的空间数据,就可以更快的训练、生成世界模型。

现在其他公司采集人类第一数据,数据质量差:因为没有MR设备芯片与操作系统

比如有美国在印度公司开始抓取工人的第一视角数据用来训练机器人,但这些设备由于没有标准的空间技术操作系统,vision OS、AndroidXR,导致采集的数据精度都不够高。


现在Apple vision Pro的数据精度可以达到毫米级,而这些普通的设备由于传感器、摄像头,不管是在算法层面还是在硬件层面,都和空间操作系统相距甚远,所以自然采集的数据都是低质量physics 数据,在vision Pro上的数据质量,可以让机器人完成这个世界的物理操作。

也就是说,MR设备是机器人大模型没有出来的遥控器:至少3年内

像李飞飞说的,现在真实世界数据比互联网少几个数量级,这是非常正确的。

像现在拍摄空间照片、空间视频,很多人都没有看过,真的要看只能在MR设备里。即使是在苹果官方的宣传照片里,也很难让普通感受到3D的空间效果。


空间计算的App也几乎没有互联网的,更何谈数据了

我们在做空间计算开发的时候,就发现能够联网有互联网的空间计算APP在vision OS的AppStore就几乎没有,即使现在苹果官方宣称有几千款APP在vision OS上是native的。

抛开那些visionOS的单机版本、demo能够真正的持续使用的少之又少

MR设备的增长率还要等到2027年,远远没有到来

李飞飞是世界模型的创立者,也是推广者,但是她并不知道MR设备的行业发展是她世界模型的底座,也就是硬件设备底座。

她不清楚人机交互的本质,世界模型如果抛开硬件终端、人机交互,就会成为一个学术命题,而真的要把世界模型用起来,能够训练起来,这就离不开世界模型的运行终端,能够和空间进行交互的,则一定是基于眼镜第一视野的XR设备或者AR设备,这些设备不仅可以感知环境还能够感知空间深度、距离、以及时间。

要想加速世界模型,首先第一件事就是加入MR设备终端的普及,而这一点从现在我们内部知道的是,2026年MR设备从vision Pro开始,再到AndroidXR设备、以及project swan字节跳动等设备,都会大量增加空间视频、空间照片的拍摄数量。

空间视频是一种全新的数据格式,不仅有平面内容还有深度、以及环境mesh网格,这些数据都将成为世界模型模拟器的数据底座。

从现在来看几乎所有的带有空间操作系统的MR设备都可以支持拍摄空间视频与空间照片,比如AndroidXR最新系统版本已经支持将其YouTube变成为3D视频。

空间计算设备,通过空间操作系统将视频转化为空间视频、空间照片能力,是MR设备的标准能力,也是空间操作系统的标准能力。

即使是美国总部,苹果消费者店员也认为他是VR

在苹果总部,vision Pro仍然很多人搞不明白,即使是里面的店员也只会基本操作,当我知道我们团队在做空间计算的互联网,空间互联网的时候都是感叹震惊。

因为他们其实对于下一代计算平台以及vision Pro到底可以发挥多大作用,他们是不知道的,无非就是苹果店里的那几个默认App或教学App。


通过空间计算技术,我最后在苹果visitor center和美国团队的朋友空间聊天以及碰面相关的公司产品介绍。


可以这么说,通过空间计算技术,我们2个即使从没有碰面,也可以很好的进行互动,甚至是有在一起的感觉。

而这一点很遗憾是在苹果体验没有的,因为考虑到用户隐私,现在persona在线下体验店是没有开放的。

只有自己购买设备之后自己录制。

不过最后讽刺的是,在WWDC临近的酒店,中国大妈大叔还是占领了旧金山,与我们这些WWDC的科技从业者形成了鲜明的对比,一个是世界的科技中心当然也少不了中国的退休大妈大叔来旅游。


今天的分享就在这里

找我交流与合作 空间计算与脑机接口系统开发

题图来自 Unsplash ,基于 CC0 协议, 如有侵权,请联系pmtalk123删除

“分享产品经理改变世界的点滴”

产品顾问| 产品咨询|培训合作

请添加微信PMxiaowanzi

最近我的原创

每日案例拆解库,AI等产品打卡群

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。

平均1天1块钱,扫码购买即可加入

连续体验48款应用,通过后原路退回

报名后添加星球助理

PMTalk123

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“出卖”父亲后果凄凉?傅作义之女傅冬菊为何至今仍被黑得如此惨?

“出卖”父亲后果凄凉?傅作义之女傅冬菊为何至今仍被黑得如此惨?

舆图看世界
2026-09-06 11:40:12
华发集团董事长被免职

华发集团董事长被免职

地产微资讯
2026-09-10 08:30:39
历史上最无耻的总统!特朗普终于承认操控股市,美国内部炸开锅

历史上最无耻的总统!特朗普终于承认操控股市,美国内部炸开锅

老范谈史
2026-09-09 17:19:09
一滴油都不准进!特朗普彻底掀桌,中国兄弟国被锁死,谈判已崩盘

一滴油都不准进!特朗普彻底掀桌,中国兄弟国被锁死,谈判已崩盘

乌克兰小静
2026-09-10 09:20:43
血赚 3000 万!利物浦送走大水货!欧冠首秀离谱失误坑惨全队

血赚 3000 万!利物浦送走大水货!欧冠首秀离谱失误坑惨全队

澜归序
2026-09-10 09:15:29
签了签了!正式加盟76人!两届总冠军后卫

签了签了!正式加盟76人!两届总冠军后卫

篮球实战宝典
2026-09-09 20:51:09
百亿资金灰飞烟灭!把公司108个美女当作后宫,丁宁到底有多狠?

百亿资金灰飞烟灭!把公司108个美女当作后宫,丁宁到底有多狠?

潋滟晴方DAY
2026-09-02 15:24:52
中国女篮巨大争议!中国女篮险胜进八强,宫鲁鸣不喊暂停险成罪人

中国女篮巨大争议!中国女篮险胜进八强,宫鲁鸣不喊暂停险成罪人

kio鱼
2026-09-10 08:41:01
7000块!明明能上国行17 Pro Max,他偏偏买美版有锁机,网友:血亏!

7000块!明明能上国行17 Pro Max,他偏偏买美版有锁机,网友:血亏!

果粉使用技巧
2026-09-09 09:07:21
回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

搞笑娱乐笑话
2026-09-08 13:54:55
4分钟10000台,雷军“崩老头”失控了

4分钟10000台,雷军“崩老头”失控了

李东阳朋友圈
2026-09-08 10:22:09
普京亲口保证,让特朗普放一万个心,俄军打完乌克兰绝不打欧洲

普京亲口保证,让特朗普放一万个心,俄军打完乌克兰绝不打欧洲

温读史
2026-09-10 05:13:40
6-1,5-1,欧冠积分榜乱了:巴黎第1、巴萨第2,英超4队全胜!

6-1,5-1,欧冠积分榜乱了:巴黎第1、巴萨第2,英超4队全胜!

冷峻视角下的世界
2026-09-10 08:59:12
宝格丽这晚:刘嘉玲露半球,刘亦菲浓妆艳抹,蔡依林吴磊像暴发户

宝格丽这晚:刘嘉玲露半球,刘亦菲浓妆艳抹,蔡依林吴磊像暴发户

地球记
2026-09-09 17:22:09
热刺崩溃!25岁穆德里克只踢16分钟就重伤:休战2个月 曾被禁赛2年

热刺崩溃!25岁穆德里克只踢16分钟就重伤:休战2个月 曾被禁赛2年

风过乡
2026-09-10 08:51:15
心理学发现一个神准的规律:儿子越有出息,父亲越不爱吭声,父亲越强势,儿子越没本事,你对照一下身边是不是这样

心理学发现一个神准的规律:儿子越有出息,父亲越不爱吭声,父亲越强势,儿子越没本事,你对照一下身边是不是这样

心理观察局
2026-09-10 06:30:04
赵长鹏谈孙割:道德有缺陷的人终身无法合作,网友:本来就是场交易

赵长鹏谈孙割:道德有缺陷的人终身无法合作,网友:本来就是场交易

情动则心痛就
2026-08-30 13:08:34
回国五天后安详离世!生前花20万美元盖学校,临终之时包机回中国

回国五天后安详离世!生前花20万美元盖学校,临终之时包机回中国

黑哥讲现代史
2026-09-10 08:17:04
刚刚,OpenAI官宣:AI成功接管量子计算机

刚刚,OpenAI官宣:AI成功接管量子计算机

新智元
2026-09-09 21:17:46
“美国不再是老大哥”,韩国执政党党首公开掀桌子 | 京酿馆

“美国不再是老大哥”,韩国执政党党首公开掀桌子 | 京酿馆

新京报评论
2026-09-09 14:41:24
2026-09-10 10:03:00
Kevin改变世界的点滴 incentive-icons
Kevin改变世界的点滴
每周一次,产品案例与经验分享
389文章数 22关注度
往期回顾 全部

科技要闻

一文看懂:iPhone折叠屏顶配2万6,10月才卖

头条要闻

iPhone18 Pro系列价格公布:A20 Pro芯片 续航大幅提升

头条要闻

iPhone18 Pro系列价格公布:A20 Pro芯片 续航大幅提升

体育要闻

16年后再破门,被皇马放弃的少年没认输

娱乐要闻

郭德纲被处罚2天,身边人传出好消息

财经要闻

银行新高!新一轮周期,刚开始!

汽车要闻

腾势Z9GT易三方闪充尊越型32.98万元上市

态度原创

手机
时尚
艺术
健康
数码

手机要闻

从华为探路到苹果入局,阔屏正在成为手机新赛道

女人不管多大,都可以看看这些“条纹T恤”,非常减龄又简约

艺术要闻

禁止出境国宝!唐代孙位唯一存世真迹,宋徽宗亲笔题名

中风康复为何像“抽丝剥茧”?

数码要闻

立讯精密光博会首发“云雀AIR”,携手光峰科技、慕德微纳探索AR显示新边界

无障碍浏览 进入关怀版