网易首页 > 网易号 > 正文 申请入驻

突发!李飞飞最新 AI 成果发布,把世界模型装进复古掌机,单张图实时跑出 15 帧

0
分享至


点下生成按钮,然后对着转圈的进度条干等好几分钟。过去玩 3D 世界模型或者视频生成的朋友,估计都被那种漫长的渲染折磨得没脾气了。

就在今天,李飞飞创办的 World Labs 发布了一款名为 Frameboy 的研究预览版 Demo,直接把自家的自回归世界模型 Atlas 拉进了实时交互时代。


官方博客 https://www.worldlabs.ai/blog/atlas-realtime

只需要打开浏览器,云端 GPU 就能以最高 15 fps 的帧率把画面实时串流过来,让你像打游戏一样自由操控镜头,在单张图片生成的 3D 世界里随便溜达。

哪怕是不小心走错了方向、试了个烂点子,试错成本也几乎归零,鼠标一划就能换个角度继续探索。

更有意思的是,此次更新也是今年 9 月底 AMD 宣布斥资 82 亿美元(约合人民币 550 亿元)全股票收购 World Labs 之后,李飞飞这支顶尖空间智能团队交出的又一份技术答卷。

把世界模型装进复古掌机,单张图实时跑出 15 帧

要把此次更新看明白,得先提一嘴两个月前刚亮相的 Atlas。

作为一个自回归世界模型,Atlas 当时最大的卖点是可以逐帧生成画面,并支持像素级精度的相机视角控制,无论是拿一张图脑补出虚拟 3D 世界,还是用几张多视角照片还原真实地标、去建筑工地看进度、给电影勘景都不在话下。

但问题也很现实,就是太慢了。

如果每次调整一下机位,都得等上几十秒甚至好几分钟才能看到渲染结果,创作者在搭场景和规划运镜时就会变得束手束脚,每次按生成键都像在开盲盒。


为了缓解世界模型漫长的生成等待,团队对 Atlas 进行了深度推理优化,并推出了搭载这一优化版模型的实时交互 Demo Frameboy,复古掌机式的设计也让人很容易联想到经典的 Game Boy。

现在,当画面生成速度提升到最高每秒 15 帧,用户已经明显感觉不到点击生成那个割裂的动作了。

你只需要在浏览器里推拉摇移相机,云端就会源源不断地把新视角的画面实时推流到屏幕上。

拿官方放出的客厅对比演示来说,以前用慢速模型手动迭代,用户得小心翼翼地在房间里点四个关键帧机位,按下生成干等视频出来,发现角度不对再拖拽重试,来回折腾好几轮。


而在 Frameboy 的实时模式下,你直接开着虚拟相机在房间里转圈就行,视野所及之处,画面同步实时更新。

如果熟悉 World Labs 去年的研究预览项目 RTFM,可能会觉得复古掌机形态有点眼熟。

不过相比当年那个轻量级的帧生成模型,如今的 Atlas 不光模型规模大得多、吞下的数据量高出好几个数量级,能力边界也完全不同了。

去年的 RTFM 主要只能在已有的几个视角之间做插值过渡,而现在的 Atlas 哪怕只喂给它一张静态图片或者一段文字描述,都能从零把整个周边场景给脑补出来,放进 Frameboy 的空间上下文里任你交互探索。


同时,它也完整保留并升级了多视角新视图合成能力,输入几张真实世界名胜古迹的多角度照片,就能在浏览器里直接开启一场赛博实景漫游。

上传图片,亲手搭个 3D 游乐场

光在官方预设好的几个场景里逛,显然还不够过瘾。

为了让大家能亲手搭出自己的 3D 世界,World Labs 还把实时串流能力塞进了自家的网页端应用 Viewfinder 里,做成了实时渲染叠加模式,目前正处于封闭测试阶段并已开放候补名单申请。

在 Viewfinder 里,你可以拿自己上传的图片当起点,操控虚拟相机一步步往外走,一帧一帧地把整个 3D 空间搭建起来。

Atlas 每生成新的一帧,都会同步输出色彩与深度信息,帮你在视觉上对齐整个三维空间结构。


等场景主体搭得差不多了,直接一键唤起 Frameboy 叠加层,刚才还在逐帧构建的静态工程,瞬间就能变成实时串流的 3D 游乐场。

团队对未来的定位非常清晰,就是想让 Atlas 这样的世界模型成为下一代生成式渲染器。


不过官方在博客最后也没有回避目前的算力门槛。

现阶段 Frameboy 必须运行在云端的高性能 GPU 服务器上,跟传统的本地渲染比起来,成本绝对算不上便宜。

但回顾计算机图形学的历史,任何一项颠覆性技术在刚诞生时往往都是又慢又贵的,随着底层硬件与软件算法的协同演进,今天昂贵的云端实验室玩具,迟早会变成白菜价的普及工具。

550 亿联姻苏姿丰,加速贴近底层硬件

恰恰是在软硬协同降本提速这件事上,如今的 World Labs 可以说是找到了最合适的靠山。

就在一个多月前的 9 月 28 日,芯片巨头 AMD 刚刚官宣了一项重磅收购协议,拟以 82 亿美元的全股票交易将成立仅两年的 World Labs 收入囊中。

预计在今年底完成交割的这笔交易,直接创下了 AMD 历史上仅次于赛灵思的第二大收购纪录。

算起来,这家总部位于旧金山、由李飞飞与 Justin Johnson、Ben Mildenhall、Christoph Lassner 联合创办的明星独角兽,在前一轮融资时的估值还是 50 亿美元。

根据收购安排,交易完成后李飞飞将正式出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报;而原有的研发团队将完整保留,继续由 Justin Johnson 和 Ben Mildenhall 带队死磕空间模型与物理 AI。


当时外界还在讨论,一家卖芯片的硬件大厂,为什么要花 550 亿人民币去买一支研究 3D 世界模型的算法团队?

现在结合 Frameboy 对极致推理速度的渴求,两边的考量就再清晰不过了。

对苏姿丰来说,大语言模型之后的下一个必争之地,是涵盖机器人仿真、空间理解与三维重建的物理 AI。

收下 World Labs,AMD 就能在第一时间摸清下一代世界模型的真实算力负载特征,从而反向指导自家 GPU 架构、AI 芯片和 ROCm 软件栈的路线规划,在机器人与空间计算赛道跟英伟达正面掰手腕。

而对李飞飞团队来说,就像她在收购公告里所言,下一代 AI 需要模型研究、系统与算力的紧密协同。

以前在云端跑个实时世界模型还得心疼昂贵的 GPU 账单,如今直接和自家芯片团队一起贴身打磨硬件与底层算子,距离把实时生成式 3D 渲染真正塞进千家万户的终端设备里,显然又近了一大步。

我们正在招募伙伴

简历投递邮箱 hr@ifanr.com

✉️ 邮件标题 「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
24岁清华研一女生寒假生娃,父母举报亲手断了她的自媒体生路

24岁清华研一女生寒假生娃,父母举报亲手断了她的自媒体生路

社会日日鲜
2026-11-06 07:01:28
万斯发长文“与特朗普切割”,特朗普回应

万斯发长文“与特朗普切割”,特朗普回应

环球网资讯
2026-11-05 16:39:41
珠海一千亿托底:用两年半财政收入,去救那个没有退路的“长子”

珠海一千亿托底:用两年半财政收入,去救那个没有退路的“长子”

牛锅巴小钒
2026-11-06 11:38:12
国乒一夜折4将!男单爆大冷!就在刚刚,WTT冠军赛:11月6日赛程公布!29岁国乒猛将约战台北一哥,19岁小将肩负重任

国乒一夜折4将!男单爆大冷!就在刚刚,WTT冠军赛:11月6日赛程公布!29岁国乒猛将约战台北一哥,19岁小将肩负重任

锐评利物浦
2026-11-06 09:46:50
2-9!常冰玉惨败,中国球员无缘国锦赛4连冠,51岁老将进决赛冲34冠

2-9!常冰玉惨败,中国球员无缘国锦赛4连冠,51岁老将进决赛冲34冠

球场没跑道
2026-11-06 20:37:08
中国空气变好了,但代价是啥?英媒曾言:代价是中国推动全球变暖

中国空气变好了,但代价是啥?英媒曾言:代价是中国推动全球变暖

阿凫爱吐槽
2026-11-06 17:09:17
刚刚,美股盘前拉冒烟,原因找到了

刚刚,美股盘前拉冒烟,原因找到了

金融界
2026-11-06 18:29:08
数据显示:万斯接替特朗普并赢得2028年大选的概率,从20%降至14%

数据显示:万斯接替特朗普并赢得2028年大选的概率,从20%降至14%

麓谷隐士
2026-11-06 00:10:04
“00后”清华女生读研期间生娃被骂“私生活混乱”,辅导员主动打电话安慰“做好自己”;当事人:会删掉特别难听的话

“00后”清华女生读研期间生娃被骂“私生活混乱”,辅导员主动打电话安慰“做好自己”;当事人:会删掉特别难听的话

洪观新闻
2026-11-04 10:38:03
突发,始祖鸟被山姆“偷家”

突发,始祖鸟被山姆“偷家”

品牌头版
2026-11-06 18:41:50
妻子满足完男闺蜜,猛然想起是纪念日赶回家却见到门口站着律师

妻子满足完男闺蜜,猛然想起是纪念日赶回家却见到门口站着律师

云端小院
2026-11-05 09:06:20
今年收复台湾的可能性很大!

今年收复台湾的可能性很大!

果妈聊娱乐
2026-11-06 09:00:07
香港名媛蔡天凤遭碎尸案最后1名证人出庭,披露尸检细节:其生前头部被7次重击,直接死因是头部损伤

香港名媛蔡天凤遭碎尸案最后1名证人出庭,披露尸检细节:其生前头部被7次重击,直接死因是头部损伤

极目新闻
2026-11-06 09:01:39
王毅人民日报撰文:中央和国家机关要走好第一方阵

王毅人民日报撰文:中央和国家机关要走好第一方阵

澎湃新闻
2026-11-06 07:19:15
花花公子创始人逼双胞胎姐妹发生关系?两人联手,每次都假意配合

花花公子创始人逼双胞胎姐妹发生关系?两人联手,每次都假意配合

凡知
2026-11-06 10:41:58
北京市发布暴雪黄色预警

北京市发布暴雪黄色预警

新京报政事儿
2026-11-06 19:33:03
顶配价格超11万元,苹果首款触控版MacBook Pro开售即“破发”

顶配价格超11万元,苹果首款触控版MacBook Pro开售即“破发”

第一财经资讯
2026-11-06 18:52:31
CBA猛料!广东男篮三外援留队,上海新外援到位,老琼斯重返CBA!

CBA猛料!广东男篮三外援留队,上海新外援到位,老琼斯重返CBA!

中国篮坛快讯
2026-11-06 17:57:56
开始动真格!追溯30年倒查来了,这4类人要当心!

开始动真格!追溯30年倒查来了,这4类人要当心!

细说职场
2026-11-05 17:56:12
伊朗称当美国再次发动侵略,将乌克兰首都基辅利沃夫和敖德萨列为潜在打击目标,“将摧毁美国帝国主义者及其盟友”

伊朗称当美国再次发动侵略,将乌克兰首都基辅利沃夫和敖德萨列为潜在打击目标,“将摧毁美国帝国主义者及其盟友”

每日经济新闻
2026-11-05 19:13:47
2026-11-06 21:35:00
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
7024文章数 26939关注度
往期回顾 全部

科技要闻

AI机房被卡,美股重挫!英伟达大跌9%

头条要闻

学生看热闹遭保安控制后骨折 说了自己受伤仍被按墙上

头条要闻

学生看热闹遭保安控制后骨折 说了自己受伤仍被按墙上

体育要闻

贝林厄姆的50岁老爸,单场轰进7球

娱乐要闻

孙俪晒照心疼邓超工作辛苦 评论区翻车

财经要闻

美国距下一场金融危机还有多远?

汽车要闻

售149.8万起 揽胜三款特别版上市 典藏定制版车型仅3台

态度原创

游戏
手机
房产
健康
军事航空

《魔兽世界:无限》首发超稳定!暴雪官方骄傲发文

手机要闻

双路冰河风冷!一加Ace 7图赏

房产要闻

重磅!海南出台楼市新政!

痘痘长到25岁还没完?查查内分泌

军事要闻

特朗普:俄乌冲突接近解决

无障碍浏览 进入关怀版