VAST开源世界模型EdenLive：单卡实现任意视觉参考的720P实时渲染

世界模型要真正参与交互，只有逼真画面还不够，还要守住世界的状态和规则：一记踢腿扣多少血，箱子被推了几格，离开视野的物体还在不在原处。目前被称为“世界模型”的系统大多是动作条件视频模型。世界怎么演变、画面长什么样，都由同一个神经网络在像素里学习。状态只藏在模型的上下文和已经生成的画面里，没法直接查看、修改或验证。实时部署留给模型的算力本来就有限，同一个网络要同时学世界演化和视觉外观，很难兼顾。

针对上述问题，本文介绍 VAST 提出并开源的 EdenLive，它是 Project Eden 系列的实时生成式渲染器。EdenLive 沿用 Project Eden“解耦状态与渲染”的思路：世界状态由上游交互系统维护，生成模型只管视觉渲染。输入一段参考视频、一张目标首帧和一句文本提示词，EdenLive 就沿着参考里的场景布局、镜头运动和物体动态，实时生成写实或风格化的画面。具体而言，第一，用一个专门微调的视觉编码器，把灰盒画面、法线图视频、2D 游戏画面和实拍视频映射到同一个特征空间；第二，把多步双向扩散模型蒸馏成少步、逐块生成的自回归模型；第三，配一套流水线并行的推理服务系统。实验中，EdenLive 5B 模型在单张 H100 上生成 1280×704 分辨率视频的帧率达到 29.8 FPS；在 30 秒长时生成的 VLM 两两盲评里，14B 和 5B 模型在五个评测维度上都排名前二。

论文题目：
EdenLive: Real-Time Generative Rendering from Any Visual Reference
项目主页：
https://vast-eden.ai/?p=edenlive
代码：
https://github.com/VAST-AI-Research/EdenLive
模型权重：
https://huggingface.co/VAST-AI/EdenLive
技术报告：
https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

一、研究背景

世界模型描述环境如何随动作和事件演变。自动驾驶仿真、具身智能和交互式游戏都离不开这种能力。这些场景有两个核心要求。一是交互性：玩家或智能体要根据当前观测决定下一步动作。二是低延迟：每次动作之后，画面必须足够快地跟上，交互闭环才能维持。

现有的视频世界模型大多把世界状态的演化和视觉外观放进同一个神经网络里学习。可是交互世界的状态复杂又多样：实体的位置和属性、血量和得分这类数值、视野外的物体，还有决定每个动作如何生效的规则。没有独立的状态，会带来几个问题：

• 物体离开视野后，镜头转回来时只能重新推测它在哪；

• 精确数值只能从过去几秒的画面里猜，结果容易偏离规则；

• 交互方式也基本停留在 WASD 漫游、镜头控制和文本指令

为此，VAST 在 2026 年 5 月发布的 Project Eden [1]中提出：把世界状态的演化和视觉渲染拆开，分成三层：

•持续演化的世界状态：记录物体的位置与属性、交互规则和动作的后果，独立于任何镜头存在；

•状态到画面的接口：把当前状态转换成某个视角下的布局、几何与事件约束；

•生成式渲染器：根据这些约束生成高保真画面。

为此，VAST 在 2026 年 5 月发布的 Project Eden 中提出把世界拆成三层：持续演化的世界状态、状态到画面的接口、生成式渲染器。EdenLive 实现的是后两层，对第一层不做限定。不管世界状态由游戏程序、游戏引擎还是动画工具维护，只要能输出参考视频，就能接入 EdenLive。

近期也有工作把状态交给代码、引擎或智能体维护，但它们各自定了一种专用格式，比如深度图加语义 ID 图、3D 包围盒或法线图。EdenLive 要回答的问题是：同一个渲染器，能否接收来源各异的参考视频，从灰盒画面到实拍视频，并实时完成渲染？要做到这一点，需要解决三个难点：

1.异构参考与外观泄漏：参考太粗糙，生成画面容易退化成灰盒；参考太精细，又容易照搬原视频的质感。

2.配对数据稀缺：严格对齐的“参考–目标”视频对很难大量获得。

3.实时流式生成：模型必须因果、连续地逐块生成，并在延迟预算内响应交互。

二、本文方法

EdenLive 的三种输入分工互补：

•参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间；

•目标首帧确定主体、材质、配色和画风；

•文本提示词补充风格和细节，也可以随时间变化。

在实时交互系统中，用户的键鼠操作驱动上游引擎。引擎执行规则、碰撞和状态更新，再把每个状态渲染成灰盒画面，作为参考输入。发生关键事件时（比如“一次命中”），事件描述会追加到提示词后面。EdenLive 只通过灰盒画面和事件描述获知游戏状态，不需要为每款游戏单独设计接口。碰撞、得分、血量都由程序计算，血条、计数器等界面元素直接叠加在生成画面上，所以始终精确、清晰可读。离线模式下，EdenLive 一次读入整段参考做双向生成，适合重渲染已有的视频和动画。

围绕上面三个难点，EdenLive 做了以下设计：

2.1 视觉编码器：统一异构参考。EdenLive 不直接以参考像素作为条件，而是用一个从 DINOv3 微调的视觉编码器提取特征。训练数据是大量“布局相同、外观不同”的图像对，训练目标有三项：特征对齐、Patch 级对比学习和域对抗学习。微调后，灰盒、法线图、2D 游戏画面和实拍视频被映射到同一个特征空间，只保留布局与运动信息。这样生成结果既不容易退化成灰盒，也不容易照搬原视频的质感。

2.2 参考注入与自配对训练：缓解数据稀缺。生成模型分别从 Wan2.2-TI2V-5B 和 Wan2.1-I2V-14B 初始化。参考特征沿通道维注入，不增加 token 长度和注意力开销。共享特征空间还带来一个好处：普通视频可以直接用来训练。参考和目标用同一段视频，只给参考一侧加外观扰动，模型就必须依靠结构和运动去还原目标。这些自配对样本再和配对视频混合训练。

2.3 少步流式生成：满足实时要求。先通过 Teacher-forcing SFT 把双向模型改造成逐块因果生成，再沿用 Self Forcing 的 on-policy 蒸馏，消除训练和推理之间的差异。推理时每块只去噪 4 步，并配合 attention sink 和重排的位置编码，保证长时生成稳定。

2.4 流水线并行服务系统。玩家交互、程序模拟、生成式渲染和视频推流四个阶段以“一块前瞻”的方式并行：当前块生成时，下一块的模拟、灰盒渲染和参考编码已经在同步进行。从输入到显示的延迟约为两块的时长。工程上，系统还用到了轻量解码器、torch.compile、CUDA Graph 和 WebRTC 推流。

2.5 EdenGolem：从一句话到可交互的灰盒世界。团队同时开源了 EdenGolem（v0.1），这是一个给编程智能体用的 Agent Skill。输入一段玩法描述，智能体分阶段写出一个可独立运行的 3D 灰盒游戏，每个阶段都要通过检查，交互部分要用真实输入试玩验证。配合开源的前端工作台，可以走通“文字描述 → 可玩游戏 → EdenLive 实时渲染”的完整流程。

三、实验结果

评测集覆盖多样的场景、主体运动、镜头运动和交互，也包括视频风格化场景。短时和长时评测分别针对 5 秒和 30 秒视频。长时对比的方法是同样支持流式生成的 AgentGarten 和 StreamCWM。

3.1 实时性能

如上表所示，三种配置的模型侧推理吞吐都超过 24 FPS。5B 模型在 832×480 下的首帧延迟约 826 ms，单卡显存峰值约 28.5 GiB。经过进一步优化，5B 模型还能在单张 NVIDIA RTX 5090 上实时运行。同样的测试条件下，StreamRender-H3 和 StreamCWM 在多卡配置下的吞吐分别为 2.56 FPS 和 1.69 FPS。

3.2 长时生成定量结果

客观指标上，EdenLive 14B 的相机旋转误差最低，首帧主体与背景一致性、文本对齐（VQAScore）和主体时序一致性最高，画面美感随时间的衰减最小；EdenLive 5B 的技术画质得分（DOVER-Technical）最高。此外，研究者用 Gemini-3.8-Flash 对 45 个案例做了两两盲评，每组交换顺序各评一次，再拟合 Elo 分数。结果显示，EdenLive 14B 和 5B 在参考遵循、首帧一致性、物理合理性、画质和避免外观泄漏五个维度上都排在前两名。

3.3 编码器微调消融

EdenLive 只通过灰盒画面和事件描述获知游戏状态，不需要为某一款游戏单独设计接口。碰撞、得分、血量这些离散结果都由 计算，不靠模型从生成的像素里推断。血条、计数器等界面元素直接从 渲染出来，叠加在生成画面上，所以始终精确、清晰可读。

离线场景下，EdenLive 一次读入整段参考，双向生成，适合重渲染已有的视频和动画。更长的视频可以交给实时模式逐块处理。

为了单独检验编码器的作用，研究者在相同的无配对图像数据上训练了两个 FLUX.2 Klein Base 9B 生成器，分别使用原始 DINOv3 特征和微调后的特征。以粗糙图像为输入时，微调后的编码器让结果与目标精细图像的 DreamSim 距离从 0.513 降到 0.368，CLIP-T 从 0.221 提升到 0.306。以精细图像为输入时，DreamSim 距离从 0.105 升到 0.334。这正说明微调后的特征主动压制了参考本身的外观信息，与设计初衷一致。

在视频生成中，使用预训练特征的模型会漏掉灰盒里的石块障碍，或者让多个角色交叠处的肢体和装备纠缠在一起，而微调后的模型能保留这些结构。在"实拍→油画/像素风"的风格迁移中，预训练特征容易把源视频的质感带进生成画面，微调特征则能更好地保持目标画风。

3.4 定性结果与应用

如上图所示，因为游戏状态由程序维护、不靠像素推断，交互结果严格遵循规则。街头格斗中，一记踢腿命中后，对手血量降低；推箱子游戏中，每推一次，箱子精确移动一格；怪兽摧城游戏中，一栋楼在火焰中倒塌，破坏计数从 0/10 变为 1/10。同一款游戏只换一张首帧和一句提示词，不改任何代码，就能渲染出完全不同的画风。

交互式游戏之外，EdenLive还支持三类应用：

一是场景与动画预览：参考保持不变，只换首帧和提示词，就能在同一个白模场景或同一段粗动画上比较不同的材质、光照和配色。

二是视频重渲染与风格化：保留原视频里的动作和镜头运动，把画面改成卡通、像素风等风格，不需要先重建场景或制作 3D 资产。

三是具身数据增强：把第一人称视频里的人手换成机械臂，或者换掉被操作的物体，动作和场景布局保持不变，一段已有的演示不用重新录制，就能扩展出多个视觉版本。

四、总结与展望

EdenLive 的核心贡献是把参考视频作为交互程序和神经视觉合成之间的通用接口。上游系统执行规则、维护世界状态，EdenLive 根据参考视频、目标首帧和文本提示词生成精细画面。专门微调的视觉编码器负责把异构参考统一到同一特征空间，少步逐块生成的自回归模型和流水线并行的服务系统则让这种分工在实时约束下可行。灰盒游戏、法线图、2D 游戏和实拍视频可以驱动同一个模型，在单张 GPU 上实时渲染。

论文也指出了当前的局限。第一，灰盒里的方块该画成哪个角色，现在由模型自己判断，画面贴合参考的程度也是固定的；后续希望让用户直接指定，并按需调节贴合程度。第二，细节外观只靠模型保留的一小段历史画面来记，角色离开画面很久再回来，或者镜头转回之前去过的地方，部分细节可能对不上；后续计划让模型在这种情况下找回之前见过的细节。EdenLive 的代码以 Apache-2.0 协议开源，5B 和 14B 两个规模的权重都已发布在 Hugging Face，欢迎研究者与开发者在此基础上接入新的参考来源，尝试新的画风和交互方式。

更可控的实体对应、更长时的视觉记忆、更稳定的实时交互，这些开放问题也是 VAST 接下来的研究重点。围绕这些方向，VAST 正通过 V·STAR 顶尖人才计划面向全球招募青年研究者，覆盖 3D 生成基础模型、三维理解与智能体、世界模型三个方向。

感兴趣可扫码投递。

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈