知识卡片：State World Models：执行规则，生成像素

一句话结论

Stateful Harness 把“世界状态演化”与“视频渲染”拆开：由框架按规则维护隐藏状态并编译指令，冻结的视频模型只负责出画面，从而在依赖不可见状态的交互中显著提升规则遵循率。

事件概述或研究问题

现有世界模型多能基于单张图像生成动作条件视频，且不少工作聚焦相机运动与场景探索。但仅靠“导航”无法保证动作在结果依赖当前帧不可见状态时仍遵循持久规则。论文提出 Stateful Harness，目标是支持有状态、受规则约束的交互，并用 WorldState-Bench 评估规则遵循。

方法/产品要点

• 分离式框架：世界演化与视频渲染分离；框架维护在指定规则下不断演化的世界状态。
• 闭环更新：每一轮用冻结视频模型渲染出的事件片段，反过来更新世界状态，供下一轮使用。
• 动作解析与指令编译：每轮解析用户选择的动作，把产生的事件编译成指令。
• 空间与相机引导：来自可编辑 3D 场景的预览片段提供空间和相机方面的引导。
• 评测基准：WorldState-Bench 包含 50 对反事实孪生样本，共享初始帧与动作，但隐藏状态与所需结果不同。

主要结果或产业意义

• 在仅用规则提示（rule-only prompting）条件下，11 个受评视频后端中最好的一个，在 32% 的样本对上能对两种情况都生成所需结局。
• 对 MiniMax-H3，明确指定所需结局可把该比例从 32% 提升到 64%。
• 在同一个冻结模型上，完整 harness 达到 92%。
• 结果支持：面对含隐藏状态的世界交互，应把规则执行与视频渲染分离。

为什么重要

交互式世界模型若只擅长“生成看起来合理的画面”，在需要持久规则与隐藏状态（如开关、库存、剧情标记）的场景中会失效。该工作给出的增量是：不重新训练视频后端，而是通过外置状态机/规则执行层加指令编译，把规则遵循率大幅拉高，为“世界模型作为可交互引擎”提供了一条工程上可复用的分层路线。与“从像素到状态：重新思考交互世界模型作为游戏引擎”所强调的动作‑状态‑观测循环相呼应，本条提供了具体框架与量化基准。

局限与不确定性

• 基准规模为 50 对反事实孪生样本，覆盖范围与难度分布待核实。
• 评测集中于 11 个视频后端与 MiniMax-H3 的对比，其他模型族表现待核实。
• 规则表达能力的边界、复杂规则组合下的表现待核实。
• 3D 预览片段所依赖的可编辑场景构建成本与通用性待核实。
• 论文未在摘要中说明真实用户交互时长、实时性等指标，待核实。

可用于图书/PPT/简报的角度

• “世界模型 = 规则执行层 + 渲染层”的分层架构图：状态机负责真值，视频模型负责像素。
• 反事实孪生评测思路：同一初始帧与动作，仅隐藏状态不同，检验模型是否“懂规则”而非“猜画面”。
• 不换模型、只加 harness 的性价比叙事：32% → 64% → 92% 的三级跳。
• 与游戏引擎“动作‑状态‑观测”循环的类比：把世界模型从“可探索视频”推进到“可规则交互”。

原始材料

• Title: State World Models: Execute the Rules, Generate the Pixels
• arXiv ID: 2610.26811v1
• Authors: Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, Lei Chen, Jie Zhou, Jiwen Lu
• Published: 2026-10-19T17:50:32Z
• Primary category: cs.CV
• Abstract URL: https://arxiv.org/abs/2610.26811v1
• PDF URL: https://arxiv.org/pdf/2610.26811v1
• Keywords: world models; stateful interaction; rule-governed interaction; video generation; WorldState-Bench; Stateful Harness