昆仑万维创始人周亚辉署名Matrix-Game 4.0 技术报告

2026年10月15日，昆仑万维正式发布世界上第一款运行在单张消费级显卡上的视频大模型游戏——Matrix-Game 4.0。Matrix-Game 4.0 构建起了游戏世界模型的新范式：由游戏引擎维护世界状态与交互规则，由视频生成模型实时呈现精细画面。它把 480p、60 FPS 的实时游戏体验，装进了一张 NVIDIA RTX 5090；从你按下按键，到画面做出反应，延迟低于 150 毫秒。Matrix-Game 4.0 首次跑通了"代码生成游戏逻辑 → 结构画面提供结构约束 → 视频模型实时渲染"的完整闭环，让游戏原型开发、个性化定制与 UGC 从此拥有了真正可落地的技术路径。

项目已同步开源, 技术报告也已发布。据传，周亚辉亲自参与了Matrix Game4.0 游戏大模型研发工作”。

开源地址及技术报告：

Github： https://github.com/SkyworkAI/Matrix-Game.git

Huggingface：https://huggingface.co/Skywork/Matrix-Game-4.0

项目网站：https://matrix-game-v4-0.github.io/page/

技术报告：https://github.com/SkyworkAI/Matrix-Game/blob/main/Matrix-Game-4/docs/Matrix_Game_4_0.pdf

一、从一段代码到一个可玩的世界——Matrix-Game 4.0 的四块基石

1. 单卡实时：让"可玩的视频模型"走出实验室

在消费级显卡上实时生成游戏画面，曾是难以兼得的目标——视频生成模型对算力的胃口，长期把它锁在实验室的多卡集群里。

Matrix-Game 4.0 给出的答案是一组硬指标：单张 NVIDIA RTX 5090，480p 分辨率下游戏以 60 FPS 运行；从玩家按键到首帧响应，端到端延迟低于 150 毫秒；单步去噪的稳态生成速度达 83 FPS，显存峰值 18.5 GiB。

这组数字意味着，视频模型驱动的游戏第一次具备了本地部署与实时交互的实际价值——它不再是一段离线渲染的演示视频，而是你能坐在电脑前真正上手操作的游戏。

2.Harness 新范式：让世界状态被真正"管理"起来

Matrix-Game 4.0 重新定义了视频模型与世界之间的关系：Coding Agent（编程智能体）通过代码构建轻量游戏，引擎作为"裁判"持续维护世界状态、执行交互规则，并输出结构画面与动态语义条件；视频模型作为"画师"负责将简单几何转化为丰富画面。

引擎的外部约束与持续校正，让世界状态可以持续维护、游戏规则可以精确定义、玩法可以用自然语言改写——这是 Genie 范式从未真正解决过的"世界是否在被认真管理"的问题。

3.贯通数据、训练与运行时：一条可复用的工程链路

从结构画面-精细画面数据对采集、动态语义标注，到可控视频训练、少步自回归蒸馏与实时推理，统一的几何和语义条件贯穿完整技术链路。

这套流程为拓展新场景、新交互和新玩法提供了工程基础：降低对精细 3D 资产制作的依赖，让游戏原型得以快速开发与迭代，让"小团队也能搭世界"从口号走向现实。

4.发布同步开源：让创作者真正"玩"起来

Matrix-Game 4.0 在发布时同步开源，向研究者、开发者和创作者提供可复用的技术基础与可改编的游戏代码。结合 Coding Agent，创作者可以通过自然语言调整场景、定制交互、设计玩法——把研究与创作的门槛压到一行 Prompt 的高度，让更多创意成为可以亲自体验、持续迭代的游戏。

二、三个根本卡点：为什么"能走"的世界，却"不好玩"

回看上一代交互式世界模型，问题从来不在画面质量——它们已经能生成足够好看的场景。真正的卡点藏在更底层的地方。把上一代路线拆开看，有三个问题始终没有被解决。

1. 世界状态缺少独立、可验证的维护机制

在没有外部引擎维护显式状态的情况下，场景与物体的持续存在，主要依赖模型的内部表示和历史记忆。模型可以"记住"曾经看到的画面，但这不等于开发者能够精确地读取、修改和验证每一个物体的状态，也难以保证视野之外的角色和事件，始终按照指定规则持续演化。

2. 长时间交互的一致性仍难稳定保证

自回归生成依赖此前的生成结果，局部偏差可能随着连续交互传播、累积。当玩家长时间探索、反复返回同一地点，或让物体多次进出视野时，场景结构、物体身份和交互结果都可能发生漂移。扩大上下文、引入记忆机制能够改善这些问题，但并不带来游戏级的长期一致性保障。

3. 合理的交互画面，不等于可靠的游戏规则

模型可以生成开门、碰撞或攻击等视觉效果，但一个完整的游戏还需要精确的数值结算——生命值增减、道具归属、任务进度、胜负判定。这些机制不仅要"看起来合理"，还必须能够被开发者明确定义、修改和测试，并在不同操作与长时间运行中保持一致。

三个问题，其实指向同一件事：现有路线把"世界"寄存在模型的记忆里，而游戏需要的，是一个可以被读取、被修改、被验证的世界。

这正是 Matrix-Game 4.0 选择"代码构建游戏、AI 实时生成画面"这一范式的起点——与其让模型努力记住整个世界，不如给世界一个显式的、可维护的载体。

三、新范式：让引擎管世界，让 AI 画世界

Matrix-Game 4.0 的解法，是给视频模型套上一个负责维护世界状态的"Harness"——由外部游戏管理器提供空间布局参考、管理世界状态、更新语义动态，视频模型则统一接收这些上下文与控制条件，自回归地生成短时且逼真的未来画面。

整个系统由三个模块构成，分工清晰：

1. 游戏引擎：世界的"裁判"

引擎负责记录世界里"到底发生了什么"，并决定玩家的操作会产生什么结果。它不必承担完整的精细画面制作，而是通过简化的几何模型和场景结构，描述道路、建筑、角色与可交互物体；生命值、背包、重力、碰撞和任务进度等状态与规则，都由代码明确维护和执行，而不是从生成画面中推测。随着玩家操作，引擎持续更新世界并输出结构画面，为视频模型提供场景布局、物体运动和相机视角的约束。即使物体离开视野，它的状态也仍由引擎按照游戏规则维护。

1. Coding Agent：世界的"构建者"

编程智能体负责把玩家的创意转化为可运行的游戏。玩家可以用自然语言提出需求，从调整地形、布置物件，到修改 NPC 行为、设计新的玩法，都由此落实为场景配置与游戏代码。例如"让怪物从四面八方涌来"，不仅意味着画面中出现更多怪物，还需要实现生成位置、移动方式、攻击行为和胜负条件。编程智能体也可以协助定义场景的语义与视觉风格：同一个简化建筑，既可以设定为海边的旧屋，也可以成为未来都市中的商店——这些描述作为文本条件，与结构画面一起指导视觉生成。

1. 视频生成模型：世界的"画师"

视频模型负责将结构画面转化为精细的视觉体验：在保留场景结构与运动约束的前提下，生成材质、光照、环境氛围及丰富的外观细节，降低对逐项制作精细 3D 资产的依赖。它结合当前控制条件与历史画面，以因果自回归方式持续生成，并通过面向实时重渲染的少步蒸馏与推理优化，缩短玩家操作到画面响应之间的等待。

实时运行流程：玩家操作 → 引擎更新世界状态 → 输出结构画面与控制条件 → 视频模型实时渲染 → 呈现给玩家

这一路线的关键，是将游戏如何运行与游戏如何呈现分开处理：代码承载规则，引擎维护状态，视频模型生成视觉表现。结合编程智能体的创作能力，Matrix-Game 4.0 让更多人能以更低的制作门槛，把创意转化为可玩、可修改、可持续迭代的游戏。

四、从数据到推理加速：一条被贯通的完整链路

一个能实时运行的"游戏世界"，背后是数据、训练与运行时三层能力的打通。

数据：为世界模型构建的结构画面-精细画面对齐数据集

团队基于虚幻引擎 5（UE5）构建了面向世界模型与视频生成的结构画面-精细画面跨域对齐数据集，覆盖 CitySample 超大城市、开放沙漠、复杂城堡、高动态空战四大典型场景。

自研的轻量化几何抽象采集管线，在保持相机轨迹与时间戳严格时空同步的前提下，将复杂场景抽象为保留空间拓扑、刚体位姿与动力学轨迹的低模结构表征，并与高模影视级画面逐帧像素级对齐；同时并行捕获物体实例 ID、可见性状态及因果交互事件，构建富语义的动态元数据流。

动态 Caption：让描述跟着游戏走

在可交互游戏中，画面会随玩家操作不断变化：转动视角后可见物体不同，移动或触发事件后物体状态也会改变。固定的文字描述难以及时反映这些变化。

Matrix-Game 4.0 引入动态 Caption：系统将场景中物体的 ID 与语义描述关联，并从游戏引擎获取当前可见对象及实时状态，运行时填入提示词模板。结构画面提供位置、布局和运动等结构信息，Caption 补充"画面中有哪些对象、处于什么状态"等语义信息，两者共同约束生成。

可控生成与空间记忆

视频模型基于 Wan2.2 5B 改造为视频到视频（V2V）模式：引擎渲染的结构画面与待生成视频按通道拼接（148 通道输入），告诉模型"画什么、画在哪"；同时输入动态合成的场景事件 prompt、空间记忆参考图和第一帧，分别负责细节描述、场景一致与画面衔接。

渲染模型网络结：148 通道拼接输入，30 层因果 DiT，自注意力读 K/V 缓存，交叉注意力读文本 K/V

推理加速：把每一毫秒都抠出来

为了让 60 FPS 在消费级显卡上真正落地，团队做了大量工程优化：用 CUDA Graph 将 DiT 主干计算预录制、运行时一次性重放；为 RoPE、归一化与 FP8 量化编写融合的专用 GPU kernel，同一层的 Q、K、V 共用一次输入量化；文本条件的 KV 只在 Caption 更新时重算；视频历史 KV 改用环形缓存；自注意力按 KV 窗口切分后并行计算；编解码换用轻量的 TAEHV。最终，文本编码器、DiT 与 VAE 可以全部常驻一张 RTX 5090。

五、Coding Agent：用一个念头，改写一款游戏

Matrix-Game 4.0 最让人兴奋的地方，或许不是它画得多好，而是它有多容易被"改"。

借助编程智能体（Coding Agent），玩家可以在现有游戏代码的基础上，用自然语言定制自己的游戏：从调整地形、布置场景物件，到修改 NPC 的行为与交互逻辑，甚至设计全新的玩法。

创意不再卡在 3D 资产的生产线上，而是可以直接进入"可玩、可迭代"的阶段。

这也正是这条技术路径的现实意义：随着 AI 编程助手快速进步，搭建轻量游戏引擎的成本已经大幅降低。我们也鼓励创作者基于项目提供的游戏代码继续改编与拓展，共同探索更多玩法。

过去一年，视频生成模型跑游戏跑出不少新成绩——但能不能在普通玩家的电脑上跑起来，是另一回事。

从这张对比图中，在端到端延迟上，Code World Model 约 10.2 秒、StreamRender-H3 约 545 毫秒、AgentGarten 约 878 毫秒，而 Matrix-Game 4.0 只有 112 毫秒——从按下一个键到画面做出响应，约是前者的 1/90、后两者的 1/5 与 1/8，第一次真正落进"实时可玩"的区间。

在算力要求上，其他方案分别需要 1× H200 141GB、8× GB200 与 1× H100 数据中心卡，而 Matrix-Game 4.0 只跑在 1× RTX 5090 上——一张消费级显卡、32GB 显存即可。

在开源情况上，Code World Model 与 StreamRender-H3 为已开放、AgentGarten 为部分开放，Matrix-Game 4.0 则是代码、权重、白模同步开放。

六、开源，让更多人一起"玩"起来

Matrix-Game 4.0 在发布时同步开源，为研究者、开发者和创作者提供可复用的技术基础与可改编的游戏代码。我们也鼓励创作者基于项目提供的游戏代码继续改编与拓展，共同探索更多玩法。

未来，团队将持续迭代模型：部署 refiner 提高画面分辨率，探索跨玩家视角保持一致的多人联机体验，提供更细粒度的画面控制，并拓展对更多游戏类型与场景的支持。

从"可控制的视频"到"可运行的世界"，这一步也许比看上去更重要。它意味着创意的门槛在降低，而想象力的边界在打开。