2026年10月15日,昆仑万维旗下 Skywork AI 发布 Matrix-Game 4.0。据量子位和雷峰网报道,该公司称这是全球首款可在单张消费级显卡 NVIDIA RTX 5090 上实时运行的游戏世界模型,项目同步开源,提供代码、模型权重及可改编的游戏代码。
据雷峰网报道,Matrix-Game 4.0 在单张 RTX 5090 上以 480p 分辨率、60 FPS 运行,玩家按键到画面响应的端到端延迟低于 150 毫秒。量子位给出的数据是,从按键到画面显示约需 112 毫秒,显存峰值约 18.5GiB。量子位同时指出,其与英伟达等方案的延迟统计口径并不完全一致,不能直接排座次。
该模型的核心思路被团队称为“给视频模型套上 Harness”。团队判断,与其让视频模型隐式记忆世界,不如让游戏引擎显式维护世界。Coding Agent 把自然语言写成游戏代码,游戏引擎维护世界状态、执行交互规则并输出结构画面,视频模型再照结构画面实时生成材质、光影和环境细节。玩家中弹时先扣盾牌耐久,盾牌失效后再扣血量,血量归零游戏结束,这些结算由代码完成,不由生成画面临场决定。
借助 Coding Agent,玩家可用自然语言调整地形、物件、NPC 行为和玩法。量子位举例,原本的计时赛可改成拦截目标车辆的追击战;提高武器射速的指令会改变底层代码,实际攻击逻辑也随之变化。
据量子位报道,视频模型基于 Wan2.2 5B Fun Control 改造为 V2V 模型,每次生成会参考当前结构画面、空间记忆参考图、首帧和近期历史缓存;系统从引擎读取可见对象和实时状态,动态拼出 Caption。训练数据用 UE5 制作结构画面与精细画面的成对数据,覆盖超大城市、开放沙漠、复杂城堡和高动态空战。推理端通过少步自回归蒸馏压缩到 1 步或 2 步、一次生成四帧,并采用 CUDA Graph、FP8 融合算子、KV 环形缓存和轻量编解码器。单步去噪稳态生成速度达 83 FPS,两步约 57 FPS。
同期,英伟达研究团队发布的 StreamRender-H3 也采用“代码运行世界、视频模型生成画面”的路线。雷峰网对比称,StreamRender-H3 端到端延迟约 545 毫秒,需 8 张 GB200;Code World Model 约 10.2 秒,需 1 张 H200 141GB;AgentGarten 约 878 毫秒,需 1 张 H100。Matrix-Game 4.0 约 112 毫秒,运行在 1 张 RTX 5090 上。量子位提醒,两者分辨率和延迟统计口径不完全一致,不能直接排座次。
Matrix-Game 4.0 发布时同步开源。量子位称,昆仑万维从 Matrix-Game 1.0 起一直走开源路线;雷峰网称本次代码、权重、白模同步开放,项目地址包括 GitHub 和 Hugging Face。团队鼓励创作者基于游戏代码继续改编。
从 Matrix-Game 1.0 开始,该系列先后让生成世界听懂玩家操作、解决实时、补上长时记忆,并在 3.5 阶段稳住空间和角色。到 4.0,团队把规则交给代码和游戏引擎,让 AI 生成的世界从“看起来像游戏”走向“按游戏规则运行”。雷峰网称,团队后续将部署 refiner 提高分辨率,探索跨玩家视角一致的多人联机,并拓展更多游戏类型与场景。