OctWorld：基于八叉树三维映射的长程世界一致性视频生成

快速导读：提出 OctWorld 框架，利用自适应八叉树 TSDF 记忆模块 OctMap 融合生成帧的深度信息，实现长程、空间一致且可探索的视频生成。

OctWorld 针对长程视频生成中的空间一致性问题，提出基于八叉树的自适应三维记忆机制 OctMap。该框架通过融合生成帧的深度信息，构建可扩展的全局三维记忆，有效防止几何漂移和外观不一致。

本文的核心贡献在于将三维记忆机制引入自回归视频生成框架，实现跨块的空间一致性保持。OctWorld 在 WorldScore 基准和 RealEstate10K 测试集上均展现出显著优势，特别是在长程生成和空间记忆保持方面。

这篇论文解决什么问题？

现有视频生成方法在长程相机轨迹下难以保持空间一致性，特别是当相机重新访问已生成区域时，缺乏有效的全局三维记忆机制来防止几何漂移和外观不一致。

世界生成旨在从数据驱动的视频模型合成高保真、可探索且空间连贯的虚拟环境。现有几何感知方法主要关注短期几何连贯性，通常局限于单个生成块（chunk），缺乏跨块的全局记忆融合机制，导致长程生成时出现几何漂移。

传统方法如 Gen3C 和 Voyager 虽然引入了深度预测和相机控制，但缺乏全局三维记忆机制，无法有效处理长程生成中的空间一致性问题。

本文提出的 OctWorld 框架通过引入 OctMap 作为可扩展、空间自适应的三维记忆，解决了上述问题，实现了长程、空间一致且可探索的视频生成。

核心创新

• 提出 OctMap，一种基于稀疏八叉树的自适应三维记忆，能够根据场景尺度动态调整分辨率，平衡几何保真度与内存效率。
• 构建了首个支持可扩展、全局融合三维记忆的长程世界一致性视频生成框架。
• 设计了噪声增强策略，通过向历史条件和记忆投影添加可控噪声，缩小训练与推理差距，提高自回归生成的鲁棒性。

方法概览

OctWorld 基于预训练的自回归视频扩散模型（FramePack 或 Wan2.1），引入 OctMap 作为可扩展、空间自适应的三维记忆。OctMap 使用稀疏八叉树结构存储 TSDF 值、RGB 颜色和权重，根据深度动态调整体素分辨率（近处精细，远处粗糙）。在推理时，将生成的 RGB-D 帧增量融合到 OctMap，提取网格并渲染为目标视图的空间条件，指导后续帧生成。

• OctWorld 基于预训练的自回归视频扩散模型（FramePack 或 Wan2.1），引入 OctMap 作为可扩展、空间自适应的三维记忆。
• OctMap 使用稀疏八叉树结构存储 TSDF 值、RGB 颜色和权重，根据深度动态调整体素分辨率（近处精细，远处粗糙）。
• 在推理时，将生成的 RGB-D 帧增量融合到 OctMap，提取网格并渲染为目标视图的空间条件，指导后续帧生成。
• 训练时，OctWorld 将训练序列分为历史帧和目标帧，从历史帧构建 OctMap 并渲染到目标视图作为空间条件。
• 噪声增强策略通过向历史条件和记忆投影添加可控噪声，缩小训练与推理差距，提高自回归生成的鲁棒性。
• OctMap 的节点分配策略根据深度动态调整体素大小，确保近处精细、远处粗糙，平衡几何保真度与内存效率。
• 框架支持可选的深度生成，当需要联合视频-深度生成时，可以启用深度生成模块。
• OctWorld 的推理过程包括：生成 RGB-D 帧、增量融合到 OctMap、提取网格、渲染目标视图、指导后续帧生成。

逐图理解论文

失败案例

当相机重新访问已生成区域时，现有方法常出现几何漂移和外观不一致，导致空间连贯性崩溃。

研究缺口

现有几何感知方法局限于单个生成块，缺乏跨块的全局三维记忆融合机制，无法处理长程生成中的空间一致性问题。

核心贡献

该图展示了八叉树节点分配策略。新视图的像素被反投影到 3D 中以估计体素大小。每条射线在截断边距内的点被采样以分配节点。

实验验证

该表展示了不同模型的 WorldScore 评估结果。OctWorld 在 WorldScore Static、3D Consistency 和 Photometric Consistency 方面均优于基线方法。

核心结论

OctWorld 通过引入可扩展的三维记忆机制，实现了长程、空间一致且可探索的视频生成，为可探索虚拟环境生成奠定基础。

实验如何设计？

• 在 WorldScore 基准上评估世界生成质量，包括相机控制、内容对齐、3D 一致性等维度。
• 在 RealEstate10K (Re10K) 测试集上进行空间记忆保持实验，使用反向轨迹设置评估几何一致性。
• 构建长程生成基准（433帧轨迹），通过用户研究评估感知质量和一致性。
• 消融实验比较不同世界记忆表示（点云、TSDF、OctMap）及噪声增强级别的影响。
• 重投影渲染质量实验，比较不同分辨率下 OctMap 与点云、TSDF 的图像质量指标（PSNR, SSIM, LPIPS）及计算成本。
• 用户研究评估感知质量和一致性，比较 OctWorld 与基线方法（Gen3C, Voyager, AETHER, Vmem）的性能。

关键结果与论文证据

• OctWorld 在 WorldScore Static 上取得 50.31 分，优于 Voyager (49.93) 和 AETHER (46.59)（第10页）。
• 在 3D 一致性方面，OctWorld 取得 71.67 分，优于 Gen3C (70.52) 和 Voyager (66.35)（第10页）。
• 在 Photometric Consistency 方面，OctWorld 取得 77.01 分，显著优于 Gen3C (68.46) 和 AETHER (50.29)（第10页）。
• 在 Re10K Spatial Memory 实验中，OctWorld 的 LPIPS 为 0.1633，优于 Gen3C (0.1933) 和 Vmem (0.4010)（第12页）。
• 用户研究显示，OctWorld 的偏好率为 53.8%，显著优于 Gen3C (39.5%) 和 Vmem (0.9%)（第12页）。
• 在重投影渲染质量实验中，OctMap 的 PSNR 为 23.47，SSIM 为 0.74，LPIPS 为 0.27，内存消耗为 7.26 GB，处理时间为 17.94s（第15页）。
• 消融实验表明，OctMap 在几何保真度和内存效率方面优于点云和 TSDF 表示（第14页）。
• 噪声增强策略显著提高了自回归生成的鲁棒性，减少了训练与推理差距（第14页）。

阅读时需要注意

• 目前不支持动态物体的生成和记忆保持，仅适用于静态场景。
• OctMap 尚未实现基于视图的细节层次（LOD）渲染，因为未保留粗节点特征。
• 内存消耗随场景扩展持续增加，缺乏有效的体素剪枝策略和视图依赖的内存卸载机制。
• 当预定义相机轨迹与已生成物体相交或被遮挡时，可能出现视觉漂移伪影。

关联工作

• Gen3C 是一种 warp-conditioned 方法，具有显式深度预测，是本文的主要基线之一（第10页）。
• Voyager 是一种长程世界一致性视频扩散方法，是本文的主要基线之一（第10页）。
• AETHER 是一种具有几何感知能力的相机控制模型，是本文的主要基线之一（第10页）。
• VMem 是一种基于 surfel-indexed view memory 的记忆检索方法，是本文的主要基线之一（第10页）。
• FramePack 是 OctWorld-1.0 的骨干网络，提供长程上下文建模能力（第7页）。
• Wan2.1 14B 是 OctWorld-1.5 的骨干网络，是一种图像到视频生成模型（第7页）。