网易首页 > 网易号 > 正文 申请入驻

李飞飞推出多模态世界模型,可精确控镜生成视频,能三维重建并服务机器人仿真

0
分享至



9月2日,被称作“AI教母”的斯坦福教授李飞飞创立的空间智能公司World Labs宣布推出新一代全模态世界模型Atlas。这是该公司继商用产品Marble和World API之后,在三维世界理解与生成方向上的最新进展。

World Labs由李飞飞与Justin Johnson、Ben Mildenhall、Christoph Lassner于2024年共同创办,目标是让人工智能具备空间智能,也就是理解物体如何存在于三维空间、场景如何延伸、动作如何改变环境。公司当年以约2.3亿美元融资出道并成为独角兽,2026年2月又完成约10亿美元新一轮融资。李飞飞一直认为,语言模型让机器学会了说话,但真正走向物理世界,还需要能够感知、生成并与三维空间交互的世界模型。

Atlas被官方称为omni world model。它从零开始预训练,原生同时处理文本、图像、视频和三维数据,采用多模态自回归扩散Transformer架构。所有输入会被编码进同一个共享的空间上下文,每张图像都带有明确的相机位姿,模型据此生成后续内容,既保持三维一致性,又能对未见区域作出合理想象。公司表示,该模型性能会随训练算力增加而提升,并计划将其用于未来版本的Marble及其他产品。早期访问将向选定合作伙伴开放。

据官方介绍,Atlas覆盖生成、重建和模拟三类任务。在相机控制生成方面,用户只需提供一张或几张参考图,就能指定精确相机路径,输出最高1440p、最长约一分钟的视频。与依赖模糊文字指令控制镜头的方式不同,Atlas把相机几何作为原生输入,创作者可以更接近“布景和调度”而不是“碰运气写提示词”。在三维重建方面,模型可从少量普通照片重建真实场景,同时输出新视角画面和点云、高斯溅射等显式三维结果。公司公布的内部对比显示,在多个稀疏视角重建基准上,Atlas的平均误差低于当时领先的专用三维重建模型。输入图像越多,模型越少依赖想象、越接近忠实还原。

在时空模拟方面,Atlas能从少量视频中同时建模空间结构与时间变化。一个直观例子是“子弹时间”:用几部手机拍下的素材,即可冻结时间并从新角度重拍。对机器人而言,这意味着更便宜的Real-to-Sim路径——拍摄真实环境后,模型可生成机器人视角的图像与深度,并进一步模拟物体交互,用于训练和测试。此外,Atlas也能根据文本生成图像和360度全景,并支持多种风格。

这条产品线并非突然出现。2025年10月,World Labs发布研究预览RTFM,尝试在单卡上实时生成可交互视频;同年11月推出首个商用产品Marble,用户可用文本、图像、视频或粗略三维布局生成可探索、可导出的持久三维世界;2026年1月上线World API,7月收购SceniX以加强机器人仿真。Atlas被放在这条路线的下一站:它介于“渲染画面”和“模拟世界如何响应动作”之间,既能生成一致的三维视图,也能输出可供后续物理引擎使用的几何。

对影视、设计、建筑和机器人团队来说,这意味着现场几张照片就可能快速重建场地,镜头调度可以更精确,仿真环境不必完全依赖昂贵扫描和手工建模。不过,目前公开的对比数据仍以公司内部评测为主,独立第三方验证尚未全面展开,世界模型赛道上的竞争也在加快。即便如此,Atlas仍代表一种明确方向:把文本、图像、视频和三维几何放进同一个空间上下文里联合建模,让机器不只描述世界,而是开始在三维中理解、想象并辅助行动。从ImageNet让计算机看见二维图像,到Atlas试图让计算机走进三维世界,李飞飞和World Labs的这条线依然清晰。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年薪300万!33岁前国足队长:我当年加盟广州恒大 就是因为钱多

年薪300万!33岁前国足队长:我当年加盟广州恒大 就是因为钱多

念洲
2026-09-02 09:55:08
悲催!寒窗二十载,上岗仅4天:她的人生,定格在吉隆口岸国门,网友:一辈子都在学习考试,只尝到4天的甜

悲催!寒窗二十载,上岗仅4天:她的人生,定格在吉隆口岸国门,网友:一辈子都在学习考试,只尝到4天的甜

火山詩话
2026-09-02 15:52:13
聚力科创深耕全链 光明乳业稳健笃行高质量发展之路

聚力科创深耕全链 光明乳业稳健笃行高质量发展之路

智谷趋势
2026-09-01 10:45:43
上合峰会期间中方领导人与伊朗总统曾短暂交谈?外交部回应

上合峰会期间中方领导人与伊朗总统曾短暂交谈?外交部回应

澎湃新闻
2026-09-02 15:38:26
核战争打不得,这一点芬兰总统提不提醒都得注意

核战争打不得,这一点芬兰总统提不提醒都得注意

新民周刊
2026-09-02 09:11:51
尼泊尔官员放狠话:中美印三国应对我们进行赔偿!

尼泊尔官员放狠话:中美印三国应对我们进行赔偿!

52赫兹实验室
2026-09-02 15:29:41
被刺死在时代广场的32岁女高管:下班途中遭遇随机袭击,刚结束产假复工,4天前还晒了全家福

被刺死在时代广场的32岁女高管:下班途中遭遇随机袭击,刚结束产假复工,4天前还晒了全家福

澎湃新闻
2026-09-02 18:02:08
乌方称俄罗斯上空非常危险,中方如何应对航班飞行风险?外交部回应

乌方称俄罗斯上空非常危险,中方如何应对航班飞行风险?外交部回应

澎湃新闻
2026-09-02 15:48:26
泰国真是太损了!美军五千官兵在航母上憋了200多天,终于要上岸休整了,结果泰国抢先动手连夜清查,几十名涉非法色情行业的人员被带走

泰国真是太损了!美军五千官兵在航母上憋了200多天,终于要上岸休整了,结果泰国抢先动手连夜清查,几十名涉非法色情行业的人员被带走

扶苏聊历史
2026-09-02 15:26:46
加拿大神秘“漂浮小岛” 突然出现,后又从卫星图像中消失,再次发现已漂到约30公里外的岸边;官方警告:如果真的找到它,千万不要上去

加拿大神秘“漂浮小岛” 突然出现,后又从卫星图像中消失,再次发现已漂到约30公里外的岸边;官方警告:如果真的找到它,千万不要上去

扬子晚报
2026-09-02 14:57:08
揪心!西藏吉隆口岸被抹平,已发现:失联人员被深埋在巨石淤泥下

揪心!西藏吉隆口岸被抹平,已发现:失联人员被深埋在巨石淤泥下

胡侃社会百态
2026-09-02 12:56:20
G20公报流产怪中国,贝森特数出"19比1",但全世界的眼睛不瞎

G20公报流产怪中国,贝森特数出"19比1",但全世界的眼睛不瞎

闻识
2026-09-02 12:38:12
一而再再而三,皇马必须给我们一个交代!

一而再再而三,皇马必须给我们一个交代!

火锅局
2026-09-02 15:26:22
景甜事件炸裂后续!孙宇晨2019年聊天曝光,代孕搞"三权分立"防女方架空,原来是早有预谋?

景甜事件炸裂后续!孙宇晨2019年聊天曝光,代孕搞"三权分立"防女方架空,原来是早有预谋?

可达鸭面面观
2026-09-02 18:32:18
海上漂了272天的美国水兵登陆了:“林肯”号停靠泰国5天,芭堤雅“整肃”中期待

海上漂了272天的美国水兵登陆了:“林肯”号停靠泰国5天,芭堤雅“整肃”中期待

红星新闻
2026-09-02 16:34:22
账面328亿美元!孙宇晨公开资产估值表引热议,网友:大部分其实都不能变现

账面328亿美元!孙宇晨公开资产估值表引热议,网友:大部分其实都不能变现

火山詩话
2026-09-02 17:12:20
陷入“批量解约应届生”风波,星宇股份董事长周晓萍回应

陷入“批量解约应届生”风波,星宇股份董事长周晓萍回应

南方都市报
2026-09-02 13:44:15
孔绍逊履新代省长!多个省级政府领导班子有调整

孔绍逊履新代省长!多个省级政府领导班子有调整

上观新闻
2026-09-02 13:22:40
6年还76万,本金只还17万!苏州一断供者哭诉:房子没了,首付93万没了,还倒欠银行98万

6年还76万,本金只还17万!苏州一断供者哭诉:房子没了,首付93万没了,还倒欠银行98万

火山詩话
2026-09-01 18:58:37
孙艺珍玄彬一家度假被偶遇,她这裤子真是瞎穿,难怪孔孝真说她土

孙艺珍玄彬一家度假被偶遇,她这裤子真是瞎穿,难怪孔孝真说她土

八怪娱
2026-09-02 16:04:34
2026-09-02 19:28:49
不看车bukanche incentive-icons
不看车bukanche
全网同名:不看车,粉丝合计超60万~
2546文章数 10773关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

海上漂了272天的美国水兵登陆芭堤雅:不得参与性交易

头条要闻

海上漂了272天的美国水兵登陆芭堤雅:不得参与性交易

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

健康
教育
亲子
游戏
军事航空

越吃越爆痘?医生讲清7大真相

教育要闻

学额上限增至50% 香港高校非本地生申请量普遍上升

亲子要闻

拒学、拖延、叛逆?新学期别再怪孩子“不听话”

7000元买二手PS5Pro被砍单 卖家以过热为由退款

军事要闻

特朗普威胁伊朗终极打击蓄势待发

无障碍浏览 进入关怀版