方法贡献

可编程世界模型：用显式状态引擎解决视频生成的状态漂移

作者

快速导读：提出一种将世界状态演化与视觉生成解耦的可编程世界模型框架，通过轻量级引擎维护显式持久状态，并利用 state-augmented 3D OBBs 作为中间表示驱动视频生成器，实现了高一致性的交互式游戏世界生成。

视频世界模型旨在构建交互式世界引擎，但现有方法缺乏维护持久世界状态和强制执行可编程规则的可靠机制。本文提出可编程世界模型，将世界状态演化与视觉生成解耦，通过轻量级引擎维护显式持久状态，并利用 state-augmented 3D OBBs 作为中间表示驱动视频生成器，实现了高一致性的交互式游戏世界生成。

该框架包含三个核心部分：Agent-orchestrated world programming 将自然语言指令转化为可执行程序以定义实体状态和规则；Control compilation 将 state-augmented 3D OBBs 投影并光栅化为像素对齐的控制信号；Generative rendering 基于预训练视频模型结合结构化控制信号和视觉历史生成视频，支持 chunk-autoregressive 长时程生成。

英文题目：Programmable World Model

论文出处：arXiv 每日论文精选 · arXiv:2609.10540

原始论文：PDF / 论文页面

这篇论文解决什么问题？

现有视频世界模型的控制接口主要指定相机或高层提示，缺乏显式的全局状态（包括屏幕外实体和非视觉属性），且用户难以编程定义世界演化规则。这导致在长时程交互中，模型无法可靠地维护实体状态，例如角色死亡后继续移动或存活角色无故消失。

StatePlay 等联合预测视觉观察和游戏状态变量的方法，其状态由模型预测，误差可能累积；MASS 引入权威类型化状态用于多人世界建模，但状态演化依赖学习到的 Logic Engine。本文的核心区别在于使用显式引擎维护状态，并通过可执行规则定义世界演化，从而避免预测误差累积。

在表示选择上，从轻量级语义描述到详细几何结构，结构细节越多控制越精细，但训练数据标注和推理时状态构建成本越高。更重要的是，从观察中提取或从引擎记录的状态与推理时程序化构建的状态可能存在训练-推理不匹配。本文采用 state-augmented 3D OBBs 作为中间抽象，支持显式世界空间控制，同时将精细几何、关节运动和次级视觉动态留给生成渲染器。

核心创新

  • 引入 state-augmented 3D OBBs 作为中间表示，平衡了显式控制与生成灵活性，解决了训练-推理不匹配问题。
  • 设计确定性 state compiler，将世界状态编译为像素对齐的空间控制信号，实现实体级控制。
  • 提出 CombatStateBench 基准，专门评估生成视频与引擎维护世界状态之间的一致性（Count Accuracy 和 State Accuracy）。
  • 开发自动数据管道，从无标注视频中恢复相机参数、语义标签、实例跟踪和物体轨迹以构建训练数据。

方法概览

框架包含三个核心部分：1) Agent-orchestrated world programming，将自然语言指令转化为可执行程序以定义实体状态和规则；2) Control compilation，将 state-augmented 3D OBBs 投影并光栅化为像素对齐的 identity, semantic, 和 motion-direction 控制信号；3) Generative rendering，基于预训练视频模型（LingBot-World-v1）结合结构化控制信号和视觉历史生成视频，支持 chunk-autoregressive 长时程生成。

  • Agent-orchestrated world programming：从自然语言规范出发，由 coding agent 生成可执行的 canonical world state 程序，定义实体初始状态和交互规则。轻量级引擎根据玩家动作和世界规则维护并推进该状态。
  • State-augmented 3D OBBs 表示：每个实体用三维有向包围盒表示，包含位置、尺寸、方向及身份、语义、动态状态等属性。这种表示平衡了显式控制与生成灵活性，避免了训练-推理不匹配。
  • Control Compilation：确定性 state compiler 将 state-augmented 3D OBBs 在目标相机下投影，光栅化为像素对齐的 identity、semantic 和 motion-direction 控制信号。这些信号直接编码了实体在图像平面上的位置和状态。
  • Generative Rendering：基于预训练视频模型 LingBot-World-v1，结合 Structured Spatial ControlNet 注入编译后的控制信号，同时条件于视觉历史，合成下一个视频 chunk。
  • Chunk-autoregressive 长时程生成：块内双向去噪，块间因果传播信息。完成的 chunk 被纳入 temporal memory 和 geometry-aligned spatial memory，支持长时程生成中的全局视觉记忆。
  • 自动数据管道：从无标注视频中恢复相机参数、语义标签、实例跟踪和物体轨迹，构建训练数据。依赖 ViPE、Qwen3-VL、SAM3、WildDet3D 等外部模型。

逐图理解论文

失败案例

失败案例
Figure 4 compares our method with the prompt-switching baseline under the same initial observations and interaction sequences. Although the baseline can often generate a visually plausible response to an action prompt, it does not reliably preserve the resulting world state. For example, characters that should remain alive may disappear, killed characters may continue moving, and the number of visible characters may change without a corresponding engine event. In contrast, our method more faithfully reflects the engine-maintained state while retaining the visual realism of the underlying video generator.

在现有交互式视频模型中，当用户指定某个角色死亡时，生成结果常常出现状态漂移：已死亡的角色继续移动，或存活的角色无故消失。这是因为模型缺乏显式的全局状态维护机制，仅依赖高层提示或相机控制，无法在长时程交互中强制执行可编程规则。

核心区分

核心区分
Figure 2 State representation trade-offs. Candidate representations range from lightweight semantic descriptions to detailed geometric structures [11]. Greater structural detail enables finer-grained control but increases the cost of training-data annotation and inference-time state construction and evolution. Moreover, representations extracted from observations or recorded from engines during training may differ from those constructed programmatically at inference time, creating a potential training–inference mismatch. We adopt state-augmented 3D OBBs as an intermediate abstraction that supports explicit world-space control while leaving fine geometry, articulation, and secondary visual dynamics to the generative renderer.

该图说明了状态表示的权衡。从轻量级语义描述到详细几何结构，结构细节越多控制越精细，但成本越高，且存在训练-推理不匹配风险。本文选择 state-augmented 3D OBBs 作为中间抽象，这张图解释了为什么选择这种表示而非更精细的几何结构。

方法贡献

方法贡献
Figure 3 Architecture of the programmable world model. (1) Agent-orchestrated world programming starts from natural- language specifications to instantiate an executable canonical world state, which is maintained and advanced by a lightweight engine according to player actions and world rules. (2) Control compilation projects state-augmented 3D OBBs under the target camera into pixel-aligned identity, semantic, and motion-direction controls. (3) Generative rendering conditions a pretrained camera-controlled video generation model on these structured controls and visual history to synthesize the next video chunk. Completed chunks are incorporated into temporal and geometry-aligned spatial memories to support long-horizon generation.

该图详细展示了架构的三个部分：Agent-orchestrated world programming、Control Compilation 和 Generative Rendering。应重点关注 Control Compilation 如何将 3D OBBs 投影为像素对齐的控制信号，以及这些信号如何注入视频生成模型。

最强证据

最强证据
Table 1 Video quality and world-state evaluation on 50 CombatStateBench clips. All values are reported as percentages. Count Accuracy is evaluated over 400 sampled frames (eight per clip), and State Accuracy over 50 death events, with three post-transition frames sampled per event.

该表报告了 CombatStateBench 上的定量结果。Count Accuracy 和 State Accuracy 是核心指标，直接衡量状态一致性。应重点关注本文方法与基线在这两个指标上的巨大差距，以及 VBench 指标表明视觉质量未受显著影响。

结论与局限

结论与局限
Figure 1 Overview of the programmable world model. Given a single reference image and a user description, a coding agent generates executable programs that specify entity states and interaction rules. A lightweight engine executes these programs to maintain and evolve an explicit world state, represented by state-augmented 3D OBBs. This representation is compiled into conditioning signals for a generative renderer, which produces realistic visual observations consistent with the world state. This design allows users to create playable games by defining game mechanics in advance, directly controlling individual entities, and maintaining persistent world state throughout gameplay.

该图展示了可编程世界模型的整体架构。观察从参考图像和用户描述开始，coding agent 生成可执行程序，轻量级引擎维护 state-augmented 3D OBBs，编译为条件信号驱动生成渲染器。这张图是理解整个框架解耦设计的核心，应重点关注状态引擎与生成器之间的接口。

实验如何设计？

  • 在 CombatStateBench 上评估，包含 50 个战斗场景 clips，专门测试生成视频与引擎维护世界状态之间的一致性。
  • 使用 Qwen3.6-27B 作为 VLM judge 评估 Count Accuracy 和 State Accuracy。Count Accuracy 在 400 个采样帧上评估，State Accuracy 在 50 个死亡事件上评估。
  • 使用 VBench 指标评估 Imaging Quality、Subject Consistency、Background Consistency 和 Temporal Stability，对比 LingBot-World-V2 和 YUME。
  • 定性比较包括实体死亡交互、大角度相机旋转、新场景泛化（minotaur、racing）及长时程自回归生成（897 帧）。

关键结果与论文证据

  • Count Accuracy 达到 94.00%，显著高于 LingBot-World-V2 的 40.75% 和 YUME 的 32.00%（p.12），表明生成视频中可见存活角色数量与引擎记录高度一致。
  • State Accuracy 达到 98.00%，远高于 LingBot-World-V2 的 8.00% 和 YUME 的 58.00%（p.12），证明角色死亡事件在视觉上被正确实现。
  • Subject Consistency 为 94.74%，Background Consistency 为 96.98%，Temporal Stability 为 99.00%（p.12），表明在保持状态一致性的同时，视觉质量未受显著影响。
  • 定性结果显示，在实体死亡交互中，本文方法准确遵循指定的死亡事件，同时保留剩余实体和场景演化（p.12, Figure 4）。
  • 在大角度相机旋转下，模型保持场景一致性，正确揭示初始相机视野后的角色，遵循引擎维护的持久世界状态（p.13, Figure 5b）。
  • 在 897 帧的自回归序列中，多个 NPC 逐渐进入场景，生成结果一致地遵循指定的相机运动、空间布局和实体状态（p.13, Figure 5e）。

阅读时需要注意

  • 依赖预训练视频模型 LingBot-World-v1 作为生成器，其能力上限可能限制最终视觉效果。
  • State-augmented 3D OBBs 表示较为粗糙，精细几何、关节运动和次级动态完全依赖生成模型补全，可能在复杂物理交互中表现不足。
  • 自动数据管道依赖多个外部模型，误差可能累积影响训练数据质量。
  • Count Accuracy 和 State Accuracy 是全局性指标，不直接奖励实例级对应关系，可能高估细粒度控制能力。
  • 基准测试场景主要为战斗场景，对其他类型交互（如精细物理模拟）的泛化能力未充分验证。

关联工作

  • LingBot-World-v1/v2 作为预训练视频生成骨干网络，本文在其基础上添加 Structured Spatial ControlNet（p.9）。
  • YUME 作为对比基线，代表现有的交互式视频世界模型，缺乏显式实例级状态接口（p.11）。
  • StatePlay 联合预测视觉观察和游戏状态变量，但状态由模型预测，误差可能累积；本文使用显式引擎维护状态（p.5）。
  • MASS 引入权威类型化状态用于多人世界建模，但状态演化依赖学习到的 Logic Engine；本文使用可执行规则（p.5）。
  • AlayaWorld 提供 geometry-aligned spatial memory 机制，用于支持长时程生成中的全局视觉记忆（p.10）。
  • Coarse-to-Real 从粗粒度 3D proxies 合成动态场景，与本文使用 3D OBBs 作为中间表示的思路相似（p.5）。

发表评论