知识卡片：Matrix-Game 4.0——全球首款单张消费级显卡实时运行的开源游戏世界模型

一句话结论

昆仑万维旗下 Skywork AI 发布的 Matrix-Game 4.0，通过「游戏引擎维护世界状态 + 视频模型负责渲染画面」的分工架构，成为全球首款可在单张 RTX 5090 上以 60 FPS 实时运行的游戏世界模型，并开源模型与代码。

事件概述或研究问题

• 发布时间：2026 年 10 月 15 日（据量子位报道）。
• 发布方：昆仑万维旗下 Skywork AI。
• 核心问题：以往游戏世界模型（如谷歌 Genie 路线）让视频模型同时承担「记忆世界状态」「执行游戏规则」「生成画面」三重职责，导致规则容易脱缰（NPC 位置、血量、任务输赢被模型临场发挥），且算力需求极高，难以在消费级硬件上实时运行。
• Matrix-Game 4.0 的思路：与其让视频模型隐式记忆世界，不如让游戏引擎显式维护世界——将规则交给代码，将画面交给 AI。

方法/产品要点

核心架构：「给视频模型套上 Harness」

1. 玩家用自然语言表达想法，Coding Agent 将其写成游戏代码。
2. 游戏引擎作为「裁判」，维护世界状态、执行游戏规则，并输出结构草图（方块、骨架、简单地形）。
3. 视频模型作为「画师」，照结构草图实时生成最终画面。

三项工程减负

• 减少模型需要猜的东西：用 UE5 制作成对数据（结构画面 vs 精细画面）训练模型；引擎提供可见对象和实时状态，动态拼出 Caption 告知模型「是什么、在干什么」。
• 减少模型需要记的东西：基于 Wan2.2 5B Fun Control 改造 V2V 模型，每次生成调用空间记忆参考图、衔接首帧和缓存近期历史信息。
• 减少模型需要计算的东西：少步自回归蒸馏压缩到 1–2 步去噪，一次生成四帧；采用 CUDA Graph、FP8 融合算子、KV 环形缓存和轻量编解码器；文本编码器、DiT 和 VAE 全部常驻单张 RTX 5090。

关键性能数据

• 硬件：单张 RTX 5090。
• 显存峰值占用：约 18.5 GiB。
• 帧率：实际游戏 60 FPS 运行；单步去噪稳态生成 83 FPS，两步去噪约 57 FPS。
• 输入延迟：按键到画面响应不到 0.15 秒（约 112ms）。
• 分辨率：480p。

游戏逻辑示例

• 盾牌耐久先于血量扣除；盾碎后才扣血；血量归零游戏结束。
• 规则可通过自然语言指令修改（如提高武器射速），Coding Agent 改代码后实际攻击逻辑随之变化。

开源信息

• GitHub：https://github.com/SkyworkAI/Matrix-Game
• HuggingFace：https://huggingface.co/Skywork/Matrix-Game-4.0
• 项目页：https://matrix-game-v4-0.github.io/page/

主要结果或产业意义

• 硬件门槛大幅降低：对比英伟达研究团队同期发布的 StreamRender-H3（采用类似「代码运行世界、视频模型生成画面」路线），其官方展示部署配置为 8 张 GB200 GPU，端到端延迟约 545ms；Matrix-Game 4.0 将硬件从 8 张 GB200 降至 1 张 RTX 5090，输入延迟约 112ms（约为前者端到端延迟的五分之一）。两者分辨率和延迟统计口径不完全一致，不能直接排座次，但单卡消费级显卡跑到此速度在工程实现上具有冲击力。
• 开源策略：大多数游戏世界模型玩家开放的是产品、API 或研究演示，真正把模型权重和推理代码交到开发者手里的仍是少数。Matrix-Game 从 1.0 起持续走开源路线。
• 技术路线分歧：世界模型赛道技术路线远未收敛——有人押注视频生成，有人主攻 3D 空间，有人重新请回游戏引擎。Matrix-Game 4.0 代表了「代码负责让世界守规矩，AI 负责把世界画出来」的解法。

为什么重要

• 游戏世界模型从「只能躺在算力集群里跑」变成「一张 RTX 5090 就能搬上开发者桌面」，可能改变该领域的研发和实验门槛。
• 将游戏规则与世界状态从视频模型的隐式记忆中剥离，交由游戏引擎显式维护，解决了「规则脱缰」这一影响可玩性的核心问题。
• 中国开源力量从大语言模型、多模态延伸至游戏世界模型赛道，延续了「新赛道刚热起来就开源」的打法。
• 与已有卡片的关系：此前 LingBot-Video（具身 MoE 视频模型）和 LingBot-VA 2.0（具身原生预训练模型）分别从视频生成和视频-动作基座角度推进世界模型；Matrix-Game 4.0 的增量在于将「游戏引擎 + 视频模型」的分工架构落实到单张消费级显卡的实时游戏场景，且完全开源。

局限与不确定性

• 480p 画质，团队自述「确实谈不上多精细」，距离更稳定、更长时间、更多人同时玩的 AI 世界还有一段路。
• 与 StreamRender-H3 的延迟和分辨率统计口径不完全一致，直接性能对比待核实。
• 长时运行的稳定性、多玩家并发场景下的表现，材料中未给出数据，待核实。
• 动态 Caption 生成的具体机制和准确率影响，材料中未详细展开。
• 模型权重和代码已开源，但社区复现效果和不同场景下的泛化能力待验证。

可用于图书/PPT/简报的角度

• 「分工」作为工程哲学：当模型身兼数职力不从心时，把确定性任务交回传统系统（游戏引擎/代码），让 AI 专注擅长的事（画面生成）——这一思路可类比到其他 AI 系统设计。
• 消费级硬件的民主化效应：从 8 张 GB200 到 1 张 RTX 5090，世界模型研发门槛的骤降意味着什么？
• 开源作为赛道早期的竞争策略：技术路线未收敛时，开源让社区帮助试错，加速找到答案。
• 中国 AI 开源脉络：从 LLM 到多模态再到游戏世界模型，「新赛道刚热，开源配方已上桌」的模式是否可持续？
• AI 生成内容的「规则可信」问题：画面穿帮 vs 规则脱缰，哪个对用户体验伤害更大？

原始材料

• 量子位报道：《全球首款！中国团队把游戏世界模型塞进一张5090，还开源了》
• URL: https://www.qbitai.com/2026/10/503353.html
• 作者：一水
• 发布时间：2026-10-15
• 项目资源：
  • GitHub: https://github.com/SkyworkAI/Matrix-Game
  • HuggingFace: https://huggingface.co/Skywork/Matrix-Game-4.0
  • 项目页: https://matrix-game-v4-0.github.io/page/

与既有脉络的关系

本卡片是对已有「具身智能/世界模型」相关卡片（LingBot-Video、LingBot-VA 2.0）的延续，但聚焦不同方向：

• LingBot 系列关注具身智能（机器人操作、物理世界模拟）；
• Matrix-Game 4.0 关注游戏世界模型（可交互、可玩、规则驱动的虚拟世界）；
• 增量信息：首次将游戏世界模型做到单张消费级显卡实时运行（60 FPS），并采用「游戏引擎 + 视频模型」显式分工架构，且开源模型与代码。