网易首页 > 网易号 > 正文 申请入驻

从一句话到一个能玩的世界,VAST 把整条链路开源了

0
分享至


在游戏里,如果你走到一扇门前,不确定能不能进去,通常的做法是先转身往回走两步,再跳两下,看看能不能翻过旁边的墙。

这些都是游戏里再普通不过的操作,可是想象一下,如果眼前的画面由 AI 生成,模型就得跟上玩家的每一次临时起意——突然停下,又突然转身,又突然跑跳。这期间,每一帧都得稳定在线。

这就是 VAST 刚刚开源的实时世界模型 EdenLive 所能做到的。它是 Project Eden 系列中的实时生成式渲染器,游戏、动画预览等可交互内容的规则和状态仍由上游交互系统维护,白模、2D/3D 场景,或真实录像,都能作为生成画面的参考。你让角色往前走,或者把镜头转向身后,交互系统将更新后的状态转化为灰盒画面与场景描述,输入 EdenLive,由模型实时渲染出对应的视觉效果让你一边玩,一边看到 AI 实时生成的世界。

参考不必是一套已经做完美术的游戏——任何视觉素材都可以。一个粗糙的 3D 白模、一段 2D 场景,甚至一段已有录像,都可以提供结构和运动。同一段参考,换一张首帧、一句提示词,就能得到写实、手绘线稿、卡通、像素或油画等完全不同的外观。


拿任意视觉参考,边交互边生成画面

EdenLive 堪称是全能,可以跟着玩家的操作持续生成游戏画面,也可以保留一段视频的运动轨迹和镜头、把人物与环境换成另一种风格;到了具身场景,第一人称的人手操作视频还能改写成机械臂视角的版本。

为了做到这一点,EdenLive 实现的是一种「分工合作」:参考画面决定结构、运动和镜头,生成模型负责重写这些内容最终「看起来是什么」。EdenLive 的三类输入分工明确:参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间;目标首帧确定主体、材质、配色和画风;文本提示词补充风格和细节,交互中还能在事件发生时追加一句描述。这最终让生成式渲染从离线的视频生成,进入长时游戏交互、视频画风转换、具身数据增强等不同的场景。


在交互持续进行所需的长时生成能力上,EdenLive 取得了不错的突破。基于 Gemini-3.8-Flash 对 45 个长时案例的两两盲评(每组交换顺序各评一次,再按维度计算 Elo 分数),在参考遵循、首帧一致性、物理合理性、画质和避免外观泄漏五个维度上,EdenLive 14B 和 5B 全部排在第一和第二。以参考遵循为例,14B 得分 1704,比 AgentGarten 高出约 200 分。


更强悍的是 EdenLive 对于实时的跟随能力。离线视频生成模型要先拿到完整输入,再整段生成,接不进实时交互,EdenLive 却能够追着不断变化的参考画面往前走。按照团队披露,EdenLive 5B 在单张消费级显卡 RTX 5090 上能以超过 24 FPS 生成 720P 画面,并支持分钟级连续生成。 这对游戏制作来说尤其有意义,玩家按下攻击键之后,最先工作的并不是 EdenLive。武器有没有击中对手、血量应该减少多少、角色又移动到了哪里,都会先由上游交互系统作出判断,并更新到游戏状态里。


在场景和动画预览中,参考可以是白模场景、美术做的粗动画,或由精细模型渲染出的法线图视频。参考不变,只换首帧和提示词,就能在同一个场景、同一段动画上比较不同的材质、光照和配色。镜头离开一处再转回来,参考里的结构还在原处,EdenLive 按同样的结构继续渲染,不必从过去的画面里重新推测。


在游戏里这种连续和一致性,还需要与玩家的操作协同。比如在进入升降装置之后,随着装置下降,整个围栏和网格不能走形,但外面的环境却需要缓缓变化。

面向游戏开发,VAST 同步开源了 EdenGolem(v0.1),一款给编程智能体使用的 skill。只要输入一段玩法描述,智能体便会分四个阶段,依次完成玩法设计、场景搭建、交互逻辑实现与界面完善,生成可独立运行的 3D 灰盒游戏。目前,EdenGolem 已支持解谜、射击、驾驶、冒险、竞技场、格斗等多种游戏类型。

除了根据简单素材生成,EdenLive 也能够理解现实素材,并实现转换。像「闪身步」是真人教学,在保留构图和运镜的同时,人物、画面和笔触都动画化。模型沿着原视频的动作和空间关系,重新生成每一帧,同时不照搬原视频的质感。


还有一个容易被忽略的用途:具身数据增强。


机器人训练中,并不缺「人类怎样擦桌子」的知识,缺乏的是「从机器人的眼睛看出去,机械手怎样靠近物体、抓住物体并完成动作」的训练素材。

获得类似视角倒也不难,找一个人戴着头戴相机,擦桌子、开抽屉、倒水,一天可以拍很多段。但真人录像里出现的是人的手臂和五指,机器人部署时看到的却是机械臂和夹爪,两者的外形、运动范围和遮挡方式都不同。模型如果主要用真人视频训练,到了机器人摄像头里,可能会遇到明显的视觉分布差异。


通过 EdenLive 把真人的手替换成机械手,从而把素材转换成更接近机器人实际工作时会看到的数据画面。例如,人拿起水壶的动作、水壶与桌面的相对位置、第一人称镜头的移动都保留,只把执行者改成机械手,可以帮助模型适应「机器人看到的画面」。

不同的参考素材类型有不同的效果,自身也有不同的限制, 现成录像只能提供镜头和动作,经过重渲染以后仍然是一段视频,可玩性来自上游代码。但 EdenLive 背后有一套分工与规则,因此生成结果可以随操作继续变化。

世界模型需要解耦状态与渲染

看这些演示,很容易以为玩家正在直接操纵一个视频模型。实际上,EdenLive 并不判断游戏里发生了什么,也不负责让这个世界运转。在今年 5 月发布的 Project Eden 中,VAST 将世界模型研究分为三层架构:持续演化的世界状态,记录物体位置与属性、交互规则和动作的后果;状态到画面的接口,把当前状态转换成某个视角下的布局、几何与事件约束;生成式渲染器,根据这些约束生成高保真画面。EdenLive 实现后两层,不限定第一层。

以格斗游戏为例,玩家按下攻击键,指令仍然先进入上游交互系统。它判断这一脚有没有踢中对手、应该扣掉多少血量,随后更新两名角色的状态和血条。


视频模型擅长生成看起来合理的画面,却无法独自维护血量、碰撞、物体身份和胜负条件等规则,因此 EdenLive 把确定性状态留给上游交互系统,把视觉呈现交给生成模型。

交互系统会把每次变化渲染成新的灰盒画面,一个专门微调的视觉编码器从中提取布局、镜头和动作;它不需要精细的皮肤、衣服和光影,只要把空间布局、运动轨迹,以及镜头怎样移动交代清楚。


「规则归交互系统,画面归模型」,这套分工解决了视频模型不擅长长期保存规则的问题,保证视觉元素的稳定呈现。当然,这套分工仍要经过更长时间、更复杂交互的检验。

世界模型不缺演示,缺的是用法

2026 年 1 月牛津学者的综述把「视觉混淆」列为世界模型要解决的挑战:画面逼真不代表模型理解了因果和物理规律,并主张世界模型从生成画面的视觉引擎,转向能够表示动态与约束的可操作模拟器。

在这条路线尚未成为世界模型的主流叙事时,今年 5 月 VAST 发布的 Project Eden 已经把交互系统维护世界状态、生成模型负责视觉呈现写进完整架构;几个月后,EdenLive 又把其中的生成式渲染推进到实时、连续运行。


在市场上,类似方案到 8、9 月才开始密集出现。

此次开源包括 5B、14B 模型权重(各含双向生成与少步流式生成两个版本)、实时流式推理代码、EdenGolem v0.1 和前端工作台,同时公开技术报告。开发者可以接入自己的参考来源,测量延迟、稳定性与参考遵循程度。

伴随 EdenLive 一同发布的,还有面向全球青年算法与研究人才的 V·STAR 顶尖人才计划。招募方向覆盖 3D 生成模型、3D 理解与 Agentic AI、世界模型三个方向。无论是全职还是实习生,V·STAR 将有机会直接参与核心项目,并拿到比头部大厂更具竞争力的薪资,特别优秀者上不封顶,还有长期期权。


过去的世界模型演示,往往用一段视频证明模型能够想象一个世界。EdenLive 则往前走了重要的一步。而当更多人把自己的代码、场景和参考画面接进来,技术也将逐渐发展为真正可用的创作工作流,世界将迎来更多可能性。


详细项目信息可前往:主页:https://vast-eden.ai/?p=edenlive代码:https://github.com/VAST-AI-Research/EdenLive

模型权重:https://huggingface.co/VAST-AI/EdenLive

技术报告:https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

Unbound Loop:http://loop.unbound.io

参与 V·STAR 顶尖人才计划,可发送简历至 vstar.talent@vastai3d.com

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CBA最愚蠢交易!用场均18分悍将换来7分0.5板软蛋,如今后悔不已

CBA最愚蠢交易!用场均18分悍将换来7分0.5板软蛋,如今后悔不已

南海浪花
2026-10-21 08:24:09
小区物业大撤退!收缴率跌到 16%,售价数百万住宅恐变贫民窟

小区物业大撤退!收缴率跌到 16%,售价数百万住宅恐变贫民窟

风向观察
2026-10-19 20:17:57
妻子有4个情夫,2009年一个情夫嫌她玩的花,将她杀死取走她的钱

妻子有4个情夫,2009年一个情夫嫌她玩的花,将她杀死取走她的钱

汉史趣闻
2026-10-20 10:05:45
伤疤都结痂了你扣开?防疫新片“白衣逆行者”,谁爱看谁看!

伤疤都结痂了你扣开?防疫新片“白衣逆行者”,谁爱看谁看!

走读新生
2026-10-21 05:50:10
MemT 1.0发布:迈向递归自我改进,让记忆成为模型内生能力

MemT 1.0发布:迈向递归自我改进,让记忆成为模型内生能力

机器之心Pro
2026-10-20 18:28:13
老人想买特斯拉被字体劝退!马斯克秒回:加 马上加

老人想买特斯拉被字体劝退!马斯克秒回:加 马上加

快科技
2026-10-19 11:28:11
1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

饭小妹说历史
2026-10-20 15:47:54
“滚回你自己国家去!”白人女大学生一句话闯下大祸,校友怒撤捐款

“滚回你自己国家去!”白人女大学生一句话闯下大祸,校友怒撤捐款

华人生活网
2026-10-20 04:14:45
AI 女模特,已失去底线

AI 女模特,已失去底线

视觉志
2026-10-21 09:58:12
太原一居委会被指借走80余户居民拆迁款多年未还清 回应:相关审计结束后将偿还

太原一居委会被指借走80余户居民拆迁款多年未还清 回应:相关审计结束后将偿还

趣味萌宠的日常
2026-10-20 00:14:51
复出5天的小杨哥,撞得“头破血流”

复出5天的小杨哥,撞得“头破血流”

金错刀
2026-10-20 14:17:36
完全合规!萧华:詹姆斯使用赞助商直升机没问题 球队不参与就不违规

完全合规!萧华:詹姆斯使用赞助商直升机没问题 球队不参与就不违规

罗说NBA
2026-10-21 04:41:45
毛主席得知美国总统艾森豪威尔要窜访台湾的消息后,当即批示:“艾森豪威尔要来台湾了,礼尚往来嘛,我看就准备7万发炮弹迎客吧!”

毛主席得知美国总统艾森豪威尔要窜访台湾的消息后,当即批示:“艾森豪威尔要来台湾了,礼尚往来嘛,我看就准备7万发炮弹迎客吧!”

回京历史梦
2026-10-21 09:46:02
郎平深夜发文!网友泪目:她还在等一个奇迹~

郎平深夜发文!网友泪目:她还在等一个奇迹~

扬子晚报
2026-10-21 09:45:11
南太行失联女子找到!遗体掉停车场水沟,遇难全程曝光,处处诡异

南太行失联女子找到!遗体掉停车场水沟,遇难全程曝光,处处诡异

晓徙娱乐
2026-10-20 13:48:26
土耳其的距离哲学,对 4500 公里外的新疆喊话,对 200 公里外的希腊沉默

土耳其的距离哲学,对 4500 公里外的新疆喊话,对 200 公里外的希腊沉默

海外说事
2026-10-20 13:03:29
张铁林聚餐照曝光!叼大烟斗,桌上摆满老北京铜锅涮肉

张铁林聚餐照曝光!叼大烟斗,桌上摆满老北京铜锅涮肉

草莓解说体育
2026-10-19 06:44:09
52岁刘恺威官宣小20岁女友,和杨幂离婚7年 人生差距一个天一个地

52岁刘恺威官宣小20岁女友,和杨幂离婚7年 人生差距一个天一个地

动物奇奇怪怪
2026-10-21 09:43:35
网红车粤J2888T车主拿驾照3年,全车多次维修,伤痕累累!已自驾多地,对自己的车技很有信心

网红车粤J2888T车主拿驾照3年,全车多次维修,伤痕累累!已自驾多地,对自己的车技很有信心

极目新闻
2026-10-21 00:44:51
吃里扒外!定居美国13年,回国捞金惨遭“驱赶”,53岁活的荒唐!

吃里扒外!定居美国13年,回国捞金惨遭“驱赶”,53岁活的荒唐!

喜欢历史的阿繁
2026-10-21 10:07:14
2026-10-21 13:20:49
爱范儿 incentive-icons
爱范儿
消费科技第一媒体
39577文章数 2602726关注度
往期回顾 全部

游戏要闻

《胧村正怪奇谭》重调地图并加入快速旅行

头条要闻

55岁月嫂因脑干出血去世 亲人整理遗物发现器官捐献卡

头条要闻

55岁月嫂因脑干出血去世 亲人整理遗物发现器官捐献卡

体育要闻

“我,对得起天津足球!”

娱乐要闻

刘恺威官宣女友,和杨幂一个天一个地

财经要闻

日赚近5亿的长鑫,股价却跌掉了15000亿

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

家居
数码
房产
游戏
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

小米米家车载吸尘器便携版开启众筹:20000Pa大吸力,众筹价189元

房产要闻

避雷!买一楼送花园,可能藏着大坑!

Co-op Anything公开单机联机改造流程并已有案例

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版