网易首页 > 网易号 > 正文 申请入驻

世界模型不能只看 Demo,VAST 想让它干点「真活儿」

0
分享至


一张 5090,实时生成一个世界。


作者|郑玄

1976 年马丁·斯科塞斯拍《出租车司机》时,曾亲手为影片的高潮段落画分镜。美国导演工会刊登的采访中,保留了这些画稿。一部后来成为经典的电影,最初也要靠纸上的人物、构图和镜头安排,让剧组理解导演脑中的那场戏。

对导演、设计师这样需要团队协作的创作者,这个需求一直存在:脑中已经有了画面,怎样让其他人也看见?

现在有了新的办法:先用模型搭出简单场景,让人物走起来、镜头动起来,再给出一张目标首帧和一句提示词,让 AI 沿着既定的布局与运动,实时生成具有具体风格和丰富细节的画面。创作者修改走位或运镜,生成画面也随之更新。


EdenLive 管线

这是 VAST 新发布并开源的 EdenLive 展示的能力。按照官方定义,它是 VAST 的世界模型项目 Project Eden 系列的「实时生成式渲染器」。

给导演生成动画预演只是其中一个应用方向。游戏开发者也可以用它给已经能玩的简陋原型加上更完整的画面:玩家操控角色移动,AI 就跟着生成相应的场景。给它一段拍好的视频,它还可以保留原来的动作和镜头,把画面变成卡通、油画等任意风格。

这些用途背后,是同一个想法:创作者先确定场景里有什么、人物怎么动,再让世界模型维护状态和规则,并且呈现相应的画面。EdenLive 正在尝试把这项能力带进动画、游戏和视频制作等实际工作中。

世界模型要走向实际应用,需要找到创作者愿意使用的能力,以及这些能力进入现有工作流的方式。模型能生成什么,与用户愿意拿它完成什么工作,之间还有一段需要摸索的距离。

作为 Project Eden 的阶段性成果,EdenLive 开始把 VAST 对世界模型的技术判断,转化为可以被使用和检验的产品能力。从动画预览、游戏创作到视频重渲染,这些具体场景构成了它探索应用落地的起点。

私有化部署外,EdenLive 也已上线模型开放平台 Reactor,可直接试用。3D 资产编辑平台 Unbound Loop 已把 EdenLive 接入产品。

某种程度上,这是 VAST 世界模型的一次 G2M(Go-to-Market)尝试:让技术进入真实工作流程,再从创作者的使用中,寻找值得持续投入的需求。

01

让想法变成可实时交互的画面

假设拍一段搜索废弃医院的恐怖戏:主角推门进入病房,床帘后藏着一个人影。摄像机跟在主角肩后,还是留在门口,更有压迫感?窗帘拉开多少,才能让观众先发现危险,主角却浑然不觉?

创作者只需要用简单模型搭出病房、病床和床帘,安排人物走位与镜头运动,再把这段作为「剧本」的参考视频交给 EdenLive,配上一张与开场布局对齐的目标首帧,用提示词补充材质、光线和画风。模型就会沿着原来的动作与运镜,生成更具体的视觉画面。当创作者追加新的描述,画面就能随之变化。

人影藏得太深,就调整上游场景中的位置;跟拍太快,就放慢镜头,再看生成结果。EdenLive 也可以保持场景和运动轨迹的一致性,更换首帧与提示词,比较不同主体、色调和材质下的氛围——它能帮助团队更早看见调整后的效果。

EdenLive 甚至可以直接参与一个游戏里实时画面的生成。

与 EdenLive 同步,VAST 开源了一款给编程智能体使用的 skill,EdenGolem(v0.1)。只需文字输入一段玩法,智能体便会分「明确规则和主题-搭建角色和场景-接入运行逻辑-补全界面和验收流程」四个阶段,生成一个可以直接上手玩的 3D 灰盒游戏。

根据灰盒游戏画面、事件描述、目标首帧和提示词,EdenLive 就能生成接下来的画面,不需要为特定游戏单独设计接口。

格斗游戏 Demo

比如上面这个有点像小霸王时代格斗游戏的 Demo,玩家按下移动键和技能键,画面的人物就能随之移动交互,命中可以扣掉敌人的血量,或者释放技能改变游戏的地形。而与普通游戏不同的是,玩家看到的动作与场景,不是来自预先搭建好的游戏场景和引擎驱动,是模型在游戏运行时不断生成出来的。

开发者因此可以先用代码智能体和 EdenGolem 搭出玩法和基本场景,再让 EdenLive 承担实时画面生成。这既能用于原型预览,甚至随着模型的技术的持续迭代,未来或许可以尝试一种新的游戏制作方式:不必预先完成全套精细美术资产,就让简单的可玩内容拥有更高质量的视觉效果。

还有用在视频重渲染,EdenLive 可以按首帧和提示词,把画面改成卡通、像素或油画风格,无须先重建三维场景。摄像头的实时画面也能作为输入;以及用在具身领域:把第一人称操作视频中的人手换成机械臂,或改变被操作物体的颜色与材质,扩展出不同的视觉版本。

EdenLive 展示了一种降低数字内容制作门槛的可能:过去,为了让一个游戏、一段动画拥有完整的视觉效果,需要投入大量精细建模、材质和灯光制作;现在,一部分工作有机会交给生成模型,在简单场景的基础上实时完成。

据 VAST 公布的信息,EdenLive 5B 模型能在单张NVIDIA RTX 5090上以超过 24 FPS 的速度生成 720P 画面,并支持分钟级连续生成。这意味着创作者因此可以观察一段连续的动作、运镜或游戏操作,而不只是几张效果图。

如果这条路径能够持续成熟,许多需要把虚拟场景「做出来、跑起来」的需求,都可能以更低成本实现。而单张 GPU 就能实时生成画面,也意味着这类尝试有机会进入更多小团队和个人创作者的工作台。它的价值不仅是把已有内容做得更快,还可能让一些过去不值得投入、或根本负担不起的创意,有机会被做出来。

02

让交互系统维护世界,

让模型呈现世界

当画面开始跟随操作生成,问题也随之出现:AI 怎么知道哪些东西可以改变,哪些必须保持不变?

潜水艇寻宝 Demo

比如潜水艇寻宝 Demo 里。潜水艇需要抵达指定位置、抓起宝箱,任务算完成。还有格斗游戏 Demo 中,一次踢腿命中,对手的血量掉了十几点。

这些结果必须由规则决定。潜水艇只是经过宝箱,不能算完成任务;一次攻击扣多少血,也不能交给模型临时发挥。

这正是「动作条件视频模型」面对的难题。这类方案根据键鼠操作或镜头轨迹,以及最近的画面,预测后续画面。当状态只隐含在上下文和已生成画面中,物体离开视野后的情况、血量和得分等数值,就很难像程序变量一样被直接查看、修改和验证。

EdenLive 延续的是 Project Eden 采取的路线:「解耦状态与渲染」。

它把系统分成三层:持续演化的世界状态、状态到画面的接口、生成式渲染器。EdenLive 实现其中的第二层和第三层,第一层则可以交给游戏程序、游戏引擎或动画工具。

以潜水艇为例,玩家按下按键后,游戏程序先计算移动与碰撞,判断有没有拿到宝箱,再输出参考画面。EdenLive 根据参考、目标首帧和提示词生成视觉效果;关键事件发生时,上游还可以追加事件描述。

于是,宝箱的位置、任务是否完成,都有独立记录。模型不必从之前的视频里重新猜测世界状态,可以把更多实时算力用在画面生成上。

配套工具也各有职责。EdenGolem v0.1 是给编程智能体使用的 Agent Skill,根据玩法描述生成可独立运行的灰盒游戏;前端工作台串起游戏生成、试玩与实时渲染。已有游戏或动画工具同样可以提供参考,无须从头生成。

要让这套流程有效,还需要分清参考中的结构与外观。灰盒没有丰富纹理,实拍视频却自带材质和光照,模型既不能把结果画成灰盒,也不能照搬原视频的质感。

EdenLive 使用专门微调的视觉编码器,把不同参考映射到同一个特征空间,保留共有的布局和运动信息。也就是让「物体在哪里、怎样移动」跟随参考,让「看起来是什么样」由目标首帧与提示词指定。

实时模式则采用逐块流式生成,根据已经到达的参考帧和保留的历史画面持续输出。上游模拟、参考编码与生成按流水线并行,使画面能够参与连续交互。

这条路线的价值,是把确定的规则留给上游交互系统,把视觉表达交给生成模型。3D 做状态表征与资产,视频做精细画面,两者互补,也让世界模型进入创作流程有了更明确的分工。

03

世界模型需要走出 Demo

看完 EdenLive 的演示,一个更值得追问的问题是:创作者会在什么情况下,真正打开它?

可能是导演想在开拍前,比较同一场戏的几种视觉风格;可能是独立开发者想在游戏里嵌入一个小玩法时,想找一个更高效的开发方式;也可能是视频创作者,希望保留拍好的动作与运镜,尝试另一种表达。

这些需求没有「生成一个世界」听起来那么宏大,却是世界模型走向实际应用必须回答的问题。技术最终要进入某个人的工作,帮助他完成一件具体的事。

EdenLive 的意义,也正在这里。作为 Project Eden 的阶段性成果,它让创作者有机会判断:它能不能帮自己更快确定一个方案,少做一些重复工作,或者尝试过去因为制作成本太高而放弃的想法。

找到这样的场景,对世界模型的发展本身同样重要。

Demo 是展示一项技术最有说服力的片段,真实创作却会不断提出新的要求。导演可能反复调整同一个镜头,游戏开发者可能要求环境和对象的变化符合一定的游戏底层逻辑。哪些细节可以交给模型自由发挥,哪些必须严格遵循参考,只有进入这些工作之后,才会变成具体的问题。

这样的反馈,会让模型的下一轮迭代更有方向。团队可以知道,当前最影响使用的是响应速度、角色外观变化,还是修改结果不够可控;也能判断,哪些能力看起来新鲜,却没有真正节省创作者的时间。落地因此不只是技术成熟之后的结果,也是推动技术继续成熟的过程。

从这个意义上说,EdenLive 是 VAST 为世界模型寻找落地方向的一步。此次开放模型权重、推理代码,以及 EdenGolem 和前端工作台,让开发者可以接入自己的内容、尝试自己的玩法。世界模型的价值,也开始有机会由真实使用来检验。

VAST 此前在 AI 3D 上的积累,为这一步提供了基础。三维资产和场景可以交代物体的位置、结构与运动,视频生成则负责呈现更丰富的视觉效果。把两者接起来,需要同时理解 3D、视频生成和实时运行中的工程问题。VAST 积累的多种参考与目标数据,以及跨越这些方向的团队,是它继续推进 EdenLive 的条件。

面向全球顶尖青年技术人才的 V·STAR 计划,也是在为这项长期探索补充力量。让更多研究者与工程师参与,解决真实使用暴露的问题,才能让今天的演示逐步成为创作者愿意反复使用的工具。

Project Eden 的定位是「下一代交互式内容创作的底层引擎」,VAST 的愿景是「让人人都能自由创造可交互世界」。要走向这个目标,需要先让具体的创作者用起来。对 EdenLive 来说,下一次值得关注的进展,或许就是越来越多的开发者、创作者用它完成了一项工作,并在下一个项目里继续选择它。

*头图来源:VAST

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

低门槛做可交互场景,

会催生更多小众独立玩法吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

娱说瑜悦
2026-10-23 13:47:29
日流水仅78元!两女生投150万开无烟酒吧倒闭,原因:太概念化

日流水仅78元!两女生投150万开无烟酒吧倒闭,原因:太概念化

西昆仑Bruce
2026-10-24 18:08:49
任泽平账号被禁,透露了哪些信息?

任泽平账号被禁,透露了哪些信息?

麦杰逊
2026-10-24 14:30:47
自掏腰包150万、每天睡2小时、23年没回家:某高校“优秀导师”评选PPT曝光,“掏空父母养老钱做科研”竟被当成先进事迹表彰!

自掏腰包150万、每天睡2小时、23年没回家:某高校“优秀导师”评选PPT曝光,“掏空父母养老钱做科研”竟被当成先进事迹表彰!

学术眺望
2026-10-24 16:55:03
曝中国工厂每天拆数千张RTX 5090,只为改AI服务器

曝中国工厂每天拆数千张RTX 5090,只为改AI服务器

算力游侠
2026-10-24 19:23:57
英超:两大铁卫破门 孔萨处子球 阿森纳2-0埃弗顿追平曼城

英超:两大铁卫破门 孔萨处子球 阿森纳2-0埃弗顿追平曼城

钉钉陌上花开
2026-10-24 23:59:33
双控缺席又何妨!火箭队升空,压制东部No.1,谢泼德阿门表现不错

双控缺席又何妨!火箭队升空,压制东部No.1,谢泼德阿门表现不错

南海浪花
2026-10-25 10:01:32
三连胜领跑东区!詹皇轮休四巨合砍98分 大帝28+三双全能无比

三连胜领跑东区!詹皇轮休四巨合砍98分 大帝28+三双全能无比

颜小白的篮球梦
2026-10-25 10:05:39
贾玲赚了12亿,“解散”了公司,她把张小斐、许君聪这些老搭档,全都好聚好散

贾玲赚了12亿,“解散”了公司,她把张小斐、许君聪这些老搭档,全都好聚好散

东方不败然多多
2026-10-25 06:49:18
谁是美国的功臣?从硫磺岛战役雕塑被“斩首”和“梅拉尼娅促成俄乌停火”说起……

谁是美国的功臣?从硫磺岛战役雕塑被“斩首”和“梅拉尼娅促成俄乌停火”说起……

新民周刊
2026-10-25 09:08:52
震惊!上海星巴克改革之后,整个大厅直接空了,网友实拍图流出,引发广泛热议

震惊!上海星巴克改革之后,整个大厅直接空了,网友实拍图流出,引发广泛热议

火山詩话
2026-10-25 07:45:59
小鹏开除薅餐补的员工,这事儿吵的根本不是那十几块钱

小鹏开除薅餐补的员工,这事儿吵的根本不是那十几块钱

小南看车
2026-10-24 22:44:16
遭29分逆转后,骑士和鱼腩球队斗得难解难分,哈登和莫布里太软了

遭29分逆转后,骑士和鱼腩球队斗得难解难分,哈登和莫布里太软了

南海浪花
2026-10-25 09:58:50
16岁女儿书包里突然翻出避孕药,妈妈慌了“孩子是不是学坏了”,女儿解释“医生说我雄激素高”;医生:一板药片,说明不了任何人的私生活

16岁女儿书包里突然翻出避孕药,妈妈慌了“孩子是不是学坏了”,女儿解释“医生说我雄激素高”;医生:一板药片,说明不了任何人的私生活

南方都市报
2026-10-25 09:54:53
底裤扒了!浙工大大二学生上电视称自研AI平台两月收入60万,原来平台是汇总多家现成AI接口,网友怒斥其薅羊毛

底裤扒了!浙工大大二学生上电视称自研AI平台两月收入60万,原来平台是汇总多家现成AI接口,网友怒斥其薅羊毛

火山詩话
2026-10-25 07:25:13
泽连斯基含泪坦言:我也是普通人,很难承受这份痛苦

泽连斯基含泪坦言:我也是普通人,很难承受这份痛苦

西楼饮月
2026-10-24 22:30:08
高市玩砸了,连中方都没料到,东京爆发大抗议,日本人:马上下台

高市玩砸了,连中方都没料到,东京爆发大抗议,日本人:马上下台

关权教授聊经济
2026-10-24 20:51:06
八国外长“史无前例”齐聚土耳其,反对对伊朗采取军事行动

八国外长“史无前例”齐聚土耳其,反对对伊朗采取军事行动

澎湃新闻
2026-10-24 19:48:28
男子登四川小贡嘎雪山,藏在营地的救命口粮被拿光,晾晒的旧鞋被换走;当事人:完全没给人留活路,急寻这位登山客

男子登四川小贡嘎雪山,藏在营地的救命口粮被拿光,晾晒的旧鞋被换走;当事人:完全没给人留活路,急寻这位登山客

蓬勃新闻
2026-10-23 16:29:42
油价最新消息:涨幅已翻倍,油价上调再度扩大,预计92号汽油涨0.23元/升,95号汽油涨0.25元/升,0号柴油涨0.24元/升

油价最新消息:涨幅已翻倍,油价上调再度扩大,预计92号汽油涨0.23元/升,95号汽油涨0.25元/升,0号柴油涨0.24元/升

吉刻新闻
2026-10-24 20:25:21
2026-10-25 10:47:00
极客公园
极客公园
让最棒的创新成为头条
12954文章数 78960关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

任泽平账号遭"禁关" 多个平台已撤销"经济学家"认证

头条要闻

任泽平账号遭"禁关" 多个平台已撤销"经济学家"认证

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

手机洗牌:华为苹果守住了 小米OV换打法

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

亲子
房产
时尚
本地
公开课

亲子要闻

卵巢功能下降吃中药调理会怀孕吗?怎么提升卵子质量?

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

秋天裤子不用买贵的,准备好蓝色牛仔裤,减龄清爽又不挑人

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版