论文代表图：figure-01-p001-01

递归代码世界模型：通过递归场景程序构建复杂世界

作者

快速导读：本文提出 Recursive Code World Models (RCWM) 框架，结合 Recursive Scene Programs (RSP) 表示与递归求解器，通过“建立整体-递归重构局部-回访整体”的循环，从单张参考图像重建高保真且可执行的 3D 场景程序。

本文提出 Recursive Code World Models (RCWM) 框架，旨在解决基于代码的世界模型在构建复杂 3D 场景时面临的多尺度结构重建难题。传统方法往往难以在保持全局空间关系一致性的同时，精确还原建筑细节等局部特征，导致生成的场景程序在执行或编辑时出现几何冲突。

RCWM 的核心创新在于引入 Recursive Scene Programs (RSP) 表示与递归求解器。该框架将世界视为嵌套子世界的组合，通过“建立整体-递归重构局部-回访整体”的循环机制，从单张参考图像逐步构建高保真且可执行的 3D 场景程序。

英文题目：Recursive Code World Models: Building Complex Worlds Through Recursive Scene Programs

论文出处：arXiv 每日论文精选 · arXiv:2609.11499

原始论文：PDF / 论文页面

这篇论文解决什么问题？

代码表示世界具有可执行、可编辑和组合性优势，但复杂场景包含多层级结构，如城镇、建筑和窗户。单一重建轨迹难以同时处理全局布局与局部细节，且局部编辑可能引发全局冲突。

现有基于代码的世界模型缺乏构建复杂世界的有效机制。例如，VIGA 通过交错程序生成和视觉验证重建场景，但难以处理深层嵌套结构；SEIG 结合场景图初始化和分阶段重建，但在多尺度一致性上仍有局限。

RCWM 借鉴了 Recursive Language Models 的递归推理机制，但将其应用于可执行世界构建，实现了从宏观布局到微观细节的层级化解析。

核心创新

  • 提出 Recursive Scene Programs (RSP) 表示，将复杂世界组织为具有显式子引用和共享依赖的组合式子世界程序。
  • 引入递归世界构建过程，同一视觉求解器在每个子世界执行完整的“整体-局部-整体”循环，结合继承的观察几何和父级回访精化。
  • 实现参考驱动的重建与评估，使用参数化 Three.js 编译器，并在相同基础模型下对比基线方法，通过消融实验验证递归深度和构建顺序的影响。

方法概览

RCWM 使用 Recursive Scene Programs (RSP) 将世界表示为嵌套子世界的组合式代码。构建过程由递归求解器 F 驱动，每个层级执行三个阶段：1) 建立整体（Establish the whole），通过视觉对比优化布局；2) 准备并递归构建局部（Prepare and recursively construct the parts），为未解决子问题分配匹配裁剪图和相机视图，调用同一求解器；3) 组合、精化并返回（Compose, refine, and return），整合子程序并修正跨部件关系。

  • 提出 Recursive Scene Programs (RSP) 表示，将复杂世界组织为具有显式子引用和共享依赖的组合式子世界程序
  • 设计递归求解器 F，在每个层级执行三个阶段：建立整体、准备并递归构建局部、组合精化并返回
  • 在“建立整体”阶段，通过视觉对比优化当前层级的布局，确保全局空间关系的一致性
  • 在“递归构建局部”阶段，为未解决子问题分配匹配裁剪图和相机视图，调用同一求解器处理子世界
  • 在“回访整体”阶段，整合子程序并修正跨部件关系，利用继承的观察几何和父级回访精化
  • 使用参数化 Three.js 编译器将场景程序转换为可执行代码，支持后续的编辑和渲染
  • 通过重叠窗口检查对象细节、空间关系和接触边界，确保局部几何的准确性
  • 记录并分析递归调用树，展示不同场景下的递归深度和节点数量，验证递归机制的有效性

逐图理解论文

核心贡献

核心贡献
Figure 2: Recursive Code World Models. Top: the recursive construction process. At level k, the solver F establishes the current whole, calls the same solver on unresolved subworlds at level k + 1, and revisits and refines the whole after their results return. Each child can in turn make further calls at level k + 2 and beyond, producing a recursive call tree. Bottom: one recorded construction path on medieval-village: the scene calls a solver for the west village, which in turn calls a solver for the tall house. Each level receives a matched reference crop and camera view, returns its constructed subprogram to the parent, and is then revisited in the parent composition. 2 RECURSIVE CODE WORLD MODELS

该图展示了 RCWM 的递归构建过程。顶部展示了递归求解器在每个层级的“整体-局部-整体”循环，底部展示了 medieval-village 场景的具体构建路径。观察递归调用树可以了解不同场景的递归深度和节点数量，理解递归机制如何平衡全局一致性与局部细节。

实验验证

实验验证
Table 1: Reconstruction metrics for every method with a completed run; best per scene in bold.

该表展示了所有方法在 10 个场景上的重建指标。重点关注 RCWM 在 PSNR 和 LPIPS 上的优势，以及在不同场景类型（全景 vs 局部裁剪）上的表现差异。这有助于评估 RCWM 的通用性和鲁棒性。

Figure 4: Whole-city case: full views (top) and six affine-aligned magnified windows from medium to small (below), all m

Figure 4: Whole-city case: full views (top) and six affine-aligned magnified windows from medium to small (below), all m
Figure 4: Whole-city case: full views (top) and six affine-aligned magnified windows from medium to small (below), all methods on the same base model and raw input. Reference: example composition of the CC0 “Isometric city” sprite pack (JanaChumi, 2017).

该图展示了一个“全城”（Whole-city）场景的生成质量对比。顶部为整体等轴测（Isometric）城市视图，下方为六个不同缩放级别的局部放大细节图（Detail 1-6）。图像采用网格布局，横向对比了五种不同方法（Reference, Ours, SEIG, VIGA, img2threejs）在同一基础模型和原始输入下的生成效果。

实验如何设计？

  • 在 10 个场景（5 个全景，5 个局部裁剪）上对比 RCWM 与 SEIG, VIGA, img2threejs
  • 使用 gpt-6-astra 作为基础模型，确保所有方法在相同条件下进行公平比较
  • 在 school-block 和 medieval-village 两个场景上进行消融实验
  • 比较 Flat+zoom, Local→global, Global→local, Recursive fixed 2-level, Recursive free depth 五种工作流
  • 使用 PSNR, SSIM, LPIPS 作为全局保真度指标，局部 SSIM 作为细节保真度指标
  • 记录递归调用树，分析不同场景下的递归深度和节点数量

关键结果与论文证据

  • RCWM 在所有参考图像上获得最高 PSNR 和最低 LPIPS；在 9/10 个场景上获得最高 SSIM (p.10)
  • 在 medieval-village 场景上，Recursive free depth 变体相比 fixed 2-level，PSNR 从 16.8 提升至 19.0，局部 SSIM 从 0.52 提升至 0.60 (p.13)
  • 在 city-full 场景上，RCWM 的 PSNR 为 18.2，LPIPS 为 0.158，显著优于 SEIG (14.5, 0.339) 和 VIGA (9.5, 0.670) (p.10)
  • 消融实验表明，递归深度对局部细节保真度有显著影响，自由深度递归优于固定深度
  • 递归调用树显示，复杂场景需要更深的递归层级，但节点数量可控
  • 回访整体阶段有效修正了跨部件关系，减少了局部编辑引发的全局冲突
  • RCWM 在局部裁剪场景上表现良好，但背面观察时缺失区域为空
  • 视觉检查机制有效识别了对象细节和空间关系错误，提高了重建质量

阅读时需要注意

  • 单视图输入导致隐藏几何和绝对尺度存在歧义
  • 视觉检查可能遗漏错误，且重复精化和组件交互需要大量计算，收敛性无保证
  • 评估场景数量有限，仅使用单一基础模型和单次运行，缺乏大规模基准测试和人工评估
  • 实验结果基于特定基础模型 (gpt-6-astra) 和推理设置，其他模型可能表现不同
  • 局部裁剪场景仅包含参考图中可见内容，从背面观察时缺失区域为空
  • 消融实验仅针对两个场景进行单次运行，结果可能不具备普遍统计显著性

关联工作

  • WorldClaw 提供开放世界生成方法，RCWM 使用其渲染图作为参考图像
  • VIGA 通过交错程序生成和视觉验证重建场景，但难以处理深层嵌套结构
  • Thinking in Blender (SEIG) 结合场景图初始化和分阶段重建，但在多尺度一致性上仍有局限
  • Recursive Language Models 启发递归推理机制，但 RCWM 将递归应用于可执行世界构建
  • FuncRoom-Agent 针对室内场景的递归 DSL，RCWM 更通用

发表评论