CG-World：用工业CG的隐藏状态教会世界模型理解物理演化

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

CG-World：面向世界模型研究的大规模世界状态数据集

蔡一鸣1,*，于方杰1,*，于美清2， 石子越3，郭勇1，袁鹏飞1 1CGyear世界模型实验室 2清华大学 3新南威尔士大学 *通讯作者：caiyiming@cgyear.com.cn, yufangjie@cgyear.com.cn

2026年7月29日

图1：CG-World。与传统仅保留最终观测的数据集不同，CG-World对齐了显式的世界状态、多模态观测以及同根干预分支，使模型能够学习世界如何演化，而不仅仅是其表象。 摘要 世界模型需要学习状态、动作、事件和观测的联合分布，而现有的公开视频数据集、机器人轨迹和仿真数据通常只覆盖这些元素中的一部分。为解决这一局限，我们提出了CG-World（图1），这是一个源自工业计算机图形生产管线的世界状态数据协议，并配套一个大规模数据集。该数据集显式记录了中间世界状态，包括多模态语义信息、空间表示、骨骼和控制器状态、运动曲线、相机和光照参数、物理缓存、接触事件以及多通道渲染输出。CG-World v1包含约85万个世界状态片段，每个片段时长1至5秒。它将底层状态、观测、事件、关系和分支元数据分离，并将这些异构记录组织成时间对齐的数据单元，从而提供了显式且全面的世界状态信息表示。为进一步支持基于干预的学习和反事实推理，CG-World引入了一个统一的分支谱系，将世界状态轨迹分类为事实轨迹、观测干预、动作干预、机制干预和严格反事实分支。对于每个分支，干预目标、不变变量和替代结果均被显式记录。我们在三个与世界模型研究相关的受控任务上评估了CG-World：几何条件视频生成、动作预测以及视觉-语言-动作策略的闭环迁移。实验结果表明，CG-World为受控生成、动作建模和具身策略迁移提供了可复用的结构化监督，从而持续提升了模型性能。在未来的工作中，我们旨在通过持续的数据收集和社区协作进一步扩展数据集，目标是将CG-World建设为通用世界模型、物理AI和具身智能研究的共享数据基础设施。

关键词：世界模型；世界状态数据；具身智能；物理AI；工业数据；反事实数据；合成数据

1 引言 世界模型研究正从视频生成转向世界理解与预测。该领域已从将观测历史压缩为潜在表示，发展到在潜在空间中维护可条件化、可干预和可交互的表示，其更广泛的目标是联合建模状态、动力学、控制和物理规律（Ding et al. 2025）。Kinetics-700、Ego4D和Panda-70M已支持视频学

第 2 页

（Carreira 等人，2019；Grauman 等人，2022；Chen 等人，2024）展示了视频世界模型的基础能力（Bruce 等人，2024；Hu 等人，2023；Russell 等人，2025；NVIDIA 等人，2025）。后续工作如 PhyWorld 通过持续后训练和物理偏好优化，提升了视频延续的物理合理性，进一步表明仅靠终端视频观测无法提供可直接学习的机制监督（Zhao 等人，2026）。

传感器采集数据集与具身智能。 Open X-Embodiment 以标准化格式汇集了超过一百万条真实机器人轨迹。RT-2（Zitkovich 等人，2023）和 OpenVLA（Kim 等人，2025）等模型表明，在互联网规模的视觉-语言知识与机器人行为数据上进行联合训练，能够改善语义泛化和跨任务控制。尽管这些数据集捕捉了真实传感器、具身形态和操作噪声，但它们通常无法记录世界的完整潜在状态。CG-World 则提供了互补：它提供了通过真实世界数据采集难以获得的密集中间状态监督。

合成世界与仿真平台。 合成数据生成器和模拟器，如 Kubric、iGibson 和 ThreeDWorld（Greff 等人，2022；Li 等人，2022；Gan 等人，2021），提供了可控环境、丰富标注、物理模拟，并在某些情况下提供了干预变量。然而，不同模拟器之间的状态协议和物理等效性标准并不一致，且不同引擎或参数设置可能以不同的动力学近似相同的物理过程。CG-World 则源自交付的生产记录，并包含大量仅靠引擎计算无法获得的专家创作数据，例如使用 3D 粒子系统创建的流体运动。

物理与因果。 IntPhys 和 PHYRE 评估直觉物理和交互式推理（Riochet 等人，2022；Bakhtin 等人，2019）；CLEVRER（Yi 等人，2020）在视频框架中统一了描述、解释、预测和反事实推理；CausalWorld（Ahmed 等人，2021）则允许对操作环境中与物体和机器人相关的因果变量进行显式干预。然而，大多数视觉推理基准仍局限于判别式问答、合理性判断或简化的物理系统，因此覆盖的应用领域较窄。

总之，世界模型训练仍缺乏一个标准化的数据体系，以系统地对齐语义、动作、物理、观测和反事实。CG-World 通过将工业生产中的显式中间物理状态、多通道视觉观测以及同根分支谱系置于一个共享的时空数据体系中，弥补了这一空白。

3 世界状态数据协议

CG-World 定义了一个逻辑协议，在对齐样本中分离世界状态元素，并将其映射到工业或传感器格式。这产生了一种统一、可构建、可转换且可验证的表示。表 2 总结了其七个类别及代表性内容。

第 3 页

顶级类别 | 定义 | 代表性二级类别 ——- | ——- | ——- 实体 | 场景中可追踪的、具有持久身份的物理对象、参与者和观测设备。 | 角色、物体、约束体、相机、光源及其他交互式场景元素 结构 | 实体内部及实体之间相对稳定的空间、拓扑、层级和装配关系。 | 场景图、节点层级、骨骼、蒙皮、网格拓扑及装配关系 静态属性 | 在其声明的有效区间内保持不变的语义、几何、材质或物理属性。 | 类别、资产ID、质量、摩擦系数、材质参数及其他时间稳定的属性 动态状态 | 随时间变化的实体位姿、速度、关节、动画状态、解算器状态或内部物理状态。 | 位姿、速度、关节角度、物体状态及可变形体的内部状态 关系 | 实体之间随时间建立、维持或终止的交互。 | 随时间变化的接触、支撑、抓取、可见性及遮挡关系 事件与规则 | 离散状态转换及其触发条件，连同支配状态演化的机制、约束和运行时配置。 | 语义事件、碰撞、约束切换、断裂、状态转换及逻辑触发器 观测 | 由相机、传感器、渲染器或其他观测函数从世界状态导出的多模态输出。 | RGB、深度、分割、法线、光流、多视图图像、全景图及点云

表2: 核心世界状态数据类别及代表性内容

3.1 逻辑模式与样本定义

为实现跨工具链、任务和模型的重用，我们将数据生产过程分解并与现实世界元素对齐。

在此公式下，世界状态数据包含单一世界演化过程的分层时间记录。设一个世界片段的标准时域为 T = {t0, t1, . . . , tn}。在任意时刻 t，显式世界状态为

Wt = (E, H, P, Xt, Rt, Qt, Πt). (1)

其中，E 为实体集；H 为结构集；P 为静态属性；Xt 为动态状态；Rt 为时变关系；Qt 为事件；Πt 为规则与配置。

给定模态 m 的观测函数 gm 和观测配置 Cmt，时刻 t 的观测为

Omt = gm(Wt; Cmt , ϵmt ) . (2)

模态配置 Cmt 表示采样机制，如相机、扫描仪或文本接口，而 ϵmt 表示观测噪声或编码扰动。因此，来自每种模态的信息被视为源自同一世界状态的观测，而非世界本身。结合时变动作 at 和外部干预 ut，世界状态演化遵循

Wt+1 = F(Wt, at, ut; Θt) + ξt. (3)

其中，F 是由渲染引擎、物理模拟、相机系统及相关组件共同诱导的状态转移过程；Θt 表示解算器、规则和运行时配置；ξt 捕获数值误差、随机扰动或未建模因素。当 ut = ∅ 时，片段记录原始或主轨迹；当 ut ≠ ∅ 时，它记录一个源自相同或共享初始状态的干预分支。

一个完整的 CG-World 数据单元组织为

Di = ⟨Wt0:tn, O1:Mt0:tn, At0:tn, Ut0:tn, Bi, Mi⟩. (4)

在此元组中，Wt0:tn 是世界状态序列，O1:Mt0:tn 是多模态观测序列，At0:tn 是动作或控制信号，Ut0:tn 是干预变量，Bi 是分支谱系，Mi 是元数据规范，包括坐标系、单位和渲染配置等固定信息。因此，世界模型训练可以超越拟合观测或操作结果，转向联合学习下一个世界状态：

p(Wt+1, Ot+1 | W≤t, O≤t, A≤t, U≤t) . (5)

为使协议可执行，CG-World 声明了每个核心字段的语义和数据类型、张量形状、时间索引、单位、坐标系、可用性及来源。载荷通过标准文件或协议引用，如 OpenUSD (Pixar Animation Studios 2025)、RLDS (Ramos et al. 2021) 和 MaterialX；完整模式见补充材料。每个片段由 segment_id、root_family_id 和实体 ID 索引，且必须包含时间范围、实体层级、传感器类别与参数，以及至少一个视觉观测。几何、动画、物理缓存、接触、深度、法线和光流可根据源可恢复性选择提供。如图2所示，由此产生的逻辑样本层将世界状态、动作、状态转换、多模态观测、关系和事件以及分支统一在一个时空索引下，同时支持跨工业工具、模拟平台和真实世界采集系统的可追溯实现。

3.2 组织原则与能力等级

我们采用三项原则来组织世界状态数据： 1. 分离状态、观测与标注，防止模型将压缩的观测或人类标签视为世界本身。 2. 分离模板、实例与状态，允许随时间追踪同一实例的变化。 3. 分离连续状态与离散事件，同时将所有数据对齐到统一的时间码以实现跨模态同步。

第 4 页

图2：时间对齐的世界状态协议。

我们为世界模型数据集定义了三个能力级别。L1，即观测对齐级别，最低要求包括实体索引、空间结构或重建参考、相机或传感器参数、基本观测、统一时间码、坐标系和单位。L2，即动态状态级别，增加了动作轨迹、实体动力学、关系和事件。L3，即因果干预级别，进一步增加了干预变量、不变场、分支谱系、结果变量，以及可比较的事实-干预或事实-反事实对。

3.3 反事实与分支管理协议

分支是从可追溯的世界状态及其在特定观测条件、动作输入或动力学机制下的运行时上下文生成的世界状态轨迹。遵循事实、干预和反事实推理之间的区别（Pearl 2009），CG-World将分支划分为事实轨迹、观测干预、动作干预、机制干预和严格反事实分支。

事实轨迹分支。 记录在给定运行时上下文、动作输入和机制配置下发生并完全保留的世界状态演变。

观测干预分支。 从相同的初始状态修改观测函数，同时保持底层状态轨迹不变。

动作干预分支。 在固定的初始世界状态和运行时上下文下，改变应用于世界的动作或控制输入，然后记录产生的未来状态和观测。

机制干预分支。 在相同的初始状态下，修改一个或少数几个机制变量I，以获得新的世界状态和后续轨迹。

严格反事实分支。 以一个已发生并被完整记录的事实轨迹为条件，然后对动作、状态或机制变量施加替代干预，同时保持相应的外生上下文和未干预机制不变。CG-World仅当分支满足所有四个标准时，才将其标记为严格反事实数据：事实条件化、外生上下文的保留、替代干预的执行，以及个体层面效应的记录。

4 CG-World v1

4.1 数据来源与处理

CG-World v1是一个镜头级世界状态数据集，从授权用于研究和再分发的工业CG制作项目中恢复并标准化。我们恢复世界状态与多版本渲染观测之间的时间对应关系，使用具有时间连续性、持久实体身份和严格状态-观测对齐的世界状态片段作为基本样本单元。该流程包括工业项目解析、跨工具链提取和基于协议的重新组织，如图3所示。

4.2 数据内容、统计单元与规模

在构建CG-World v1主数据集期间，我们没有通过程序化场景随机化或重新模拟来增强数据。v1中的所有状态和观测均源自通过制作质量控制的已保存制作记录。

图4总结了CG-World v1的完整规模、镜头过滤过程和多模态覆盖范围。该数据集包含约850,000个有效的镜头级世界状态片段，每个片段时长1-5秒，中位时长为2.6秒。其中，433,500个镜头具有完整的多模态对齐，510,000个镜头具有物理重计算。百分之九十五的有效镜头包含多镜次动作覆盖，每个镜头有3-5个镜次变体。为防止跨制作项目、共享资产、历史版本和同根分支的数据泄露，CG-World v1采用分组分层划分。最终的训练集、验证集和测试集分别包含637,500、127,500和85,000个片段，对应有效数据的75%、15%和10%。

4.3 多分支与反事实数据

利用第3.3节介绍的分支系统，CG-World v1从桌面容器操作场景中构建了一个干预和反事实子集。该子集按同根分支族组织，如图5所示。每个族使用一个完整记录的事实轨迹作为其

第 5 页

图3：从工业CG项目到CG-World数据包的处理流程。

图4：CG-World v1的数据分布。

参考，并将其与源自同一可追溯世界状态的替代分支关联起来。约9%的该子集源自历史项目版本，其余为程序化生成。表3总结了其主要组织单元、分支规模、干预目标及可推导的监督信号。

4.4 标注与组织 CG-World v1采用源自生产流程的标注：标注信息从工业生产文件中恢复，而非在提取的片段上人工重绘为边界框、掩码或文本描述。文本语义、结构、动作、物理过程及观测结果均在同一生产链中，在人类专家监督下生成。

4.5 数据权利、许可与发布计划 CG-World v1的正式发布仅包含已通过权利审查并允许学术研究使用的工业CG项目。不符合再分发要求的素材仅用于内部统计或受控访问，不纳入公开下载。 完整的CG-World v1数据集将在论文被接收后、且不晚于终稿提交时发布。L1/L2及选定的L3数据将依据非商业学术研究许可分发。包含与世界状态片段对应的完整项目文件的原始L3数据，需经过用例审查并签署受控访问协议。

第 6 页

图5：CG-World中的反事实数据结构

数据单元或分支类型 | 规模 | 主要变化变量 | 提供的监督 —|—|—|— 同根分支族 | 1,000组 | 共享的事实轨迹、初始状态、运行时上下文和分支谱系 | 事实参考、分支对应关系和不变集 观测干预分支 | 100,000 | 相机、焦距、光照、遮挡、渲染通道和图像退化 | 多通道观测、可见性、相机参数和观测差异 严格动作反事实分支 | 5,000 | 抓取位置、速度、倾斜角度、运动路径和释放时机 | 动作轨迹、未来状态、事件边界和个体层面的结果效应 严格机制反事实分支 | 5,000 | 质量、摩擦、质心、液面高度、粘度、接触条件和约束规则 | 物理状态、接触关系、事件变化和个体层面的结果效应 失败结果标注 | 包含在相应的反事实分支中 | 滑动、溢出、碰撞、过早释放和相关失败 | 失败事件、异常接触、发生时间和最终状态变化

表3：CG-World v1的分支与反事实子集

5 实验

我们进行了三项实验：观测视频生成、多步动作预测和视觉-语言-动作迁移。表4总结了评估的模型和初始化检查点。

任务 | 模型与版本 | 后训练方法 —|—|— 观测视频生成 | ltx-2.3-22b-dev (HaCohen et al. 2026) | LoRA (Hu et al. 2022), r = 32 多步动作预测 | Cosmos3-Nano (NVIDIA 2026) | LoRA, r = 32 具身策略迁移 | openvla-7b | LoRA, r = 32

表4：实验模型与初始化检查点

5.1 观测视频生成

我们首先评估源自世界状态的监督是否能改善视频基础模型中的观测生成。在相同的初始帧、提示、测试片段、随机种子和推理配置下，比较了四种设置：无显式控制的I2V、Union Control后训练 (Ben-Yosef et al. 2026)、CG-World单模态后训练，以及混合Depth/Canny后训练。

控制方法 | LPIPS ↓ | FVD ↓ —|—|— Depth LTX-2.3 baseline I2V | 0.503639 | 2568.610 Depth + Official Union | 0.446168 | 532.730 Depth + CG-World Depth | 0.406837 | 519.624 Depth + Mixed Union | 0.278523 | 326.324 Canny LTX-2.3 baseline I2V | 0.503639 | 2568.610 Canny + Official Union | 0.454424 | 652.224 Canny + CG-World Canny | 0.398862 | 555.545 Canny + Mixed Union | 0.304219 | 368.162

表5：LTX-2.3在观测视频生成上的后训练结果

我们使用LPIPS (Zhang et al. 2018) 和FVD (Unterthiner

第 7 页

etal. 2018）来测量生成视频与真实视频之间的感知距离和分布距离。如表5所示，CG-World的几何控制监督在两个控制分支中都取得了最佳结果。相对于Official Union，Depth分支的LPIPS和FVD分别降低了37.57%和38.75%，Canny分支则分别降低了33.05%和43.55%。这些结果表明，同源RGB、几何控制与时序信息之间的严格对齐，提升了受控视频生成的感知保真度和分布一致性。

5.2 面向物理AI的多步动作预测

第二个实验评估CG-World轨迹监督是否改善世界模型的动作预测。数据按LIBERO（Liu et al. 2023）组织，姿态采用连续六维旋转表示（Zhou et al. 2019）。以Cosmos3-Nano为基线，我们构建了三种共享动作连接器和预测头的控制配置。Action-Head Only冻结模型骨干，仅优化动作头和连接器；LIBERO-LoRA在LIBERO上后训练骨干；CG-World-LoRA则在CG-World上后训练骨干。给定当前RGB观测和自然语言指令，模型预测16步的未来动作块。三种配置共享相同的动作头、数据划分原则、训练预算和冻结评估协议。

| 指标 | Action-Head Only | LIBERO-LoRA | CG-World-LoRA | |——|——————|————-|—————| | 动作MSE ↓ | 0.11532 | 0.08061 | 0.05326 | | 平移RMSE ↓ | 0.41624 | 0.34084 | 0.27152 | | 旋转误差（°）↓ | 3.88405 | 4.53336 | 2.13520 | | 夹爪F1 ↑ | 0.70314 | 0.89354 | 0.95726 |

表6：Cosmos3-Nano动作预测结果

如表6所示，CG-World-LoRA在所有四个动作指标上均取得最佳结果。相对于LIBERO-LoRA，三个连续动作误差分别降低了33.93%、20.34%和52.90%，而夹爪F1绝对值提升了0.06372。这些结果支持了CG-World提供了超越独立演示轨迹的连续运动结构这一论断。

5.3 仿真中的VLA迁移

第三个实验评估CG-World是否为VLA模型提供可迁移的运动先验，以及这些先验是否能在有限目标域监督下改善闭环操作。我们使用OpenVLA-7B，并采用OFT连续动作回归范式（Kim, Finn, and Liang 2025）。给定RGB观测和任务指令，模型输出7维相对末端执行器动作。我们比较了使用ManiSkill3（Tao et al. 2024）和CG-World进行后训练的效果。CG-World pre-adapt + OFT条件在相同的目标域OFT协议之前，增加了CG-World动作预适应。我们评估了域内任务在PickCube上的成功率、在未见过的StackCube任务上的跨任务泛化能力，并将失败分解为抓取和举起阶段。

| 配置 | PickCube ID SR | Wilson 95% CI | StackCube OOD SR | |——|—————-|—————|——————| | C1 Zero-shot | 0.7 ± 1.2% | 0.7% [0.2%, 2.4%] | 0.0 ± 0.0% | | C2 RGB BC (OFT) | 4.0 ± 4.4% | 4.0% [2.3%, 6.9%] | 0.0 ± 0.0% | | CG-World pre-adapt + OFT | 39.0 ± 4.4% | 39.0% [33.7%, 44.6%] | 25.0 ± 4.4% |

| 配置 | 抓取 | 举起 | |——|——|——| | C1 Zero-shot | 0.0 ± 0.0% | 0.0 ± 0.0% | | C2 RGB BC (OFT) | 99.0 ± 1.0% | 68.7 ± 7.5% | | CG-World pre-adapt + OFT | 99.5 ± 0.5% | 88.3 ± 3.1% |

表7：OpenVLA在桌面容器操作迁移上的仿真结果

如表7所示，CG-World预训练将域内PickCube成功率从C2的4.0%提升至39.0%，并将StackCube的OOD成功率从所有基线的0%提升至25.0%。其主要收益并非进一步强化已经饱和的目标接近和抓取，而是改善了抓取后的举起、轨迹连续性、物体搬运以及后续动作规划。

6 未来工作

未来工作将使用严格配准的真实-虚拟场景对，来测量观测、动力学和干预效应中的偏差；开发误差和不确定性模型；并利用有限的真实世界数据校准工业CG机制和采样范围。我们还将扩展长时程因果链和动力学覆盖。社区插件将把项目映射到CG-World模式，而贡献将需要模式、时序一致性、授权和来源检查，并在L1/L2/L3层级下获得版本和引用元数据。

7 讨论与结论

7.1 讨论

CG-World v1继承了制作偏差：叙事和镜头选择、风格化或修正的运动、引擎和求解器特定行为、不完整的遗留记录，以及因合成、透明度或程序化材质而弱化的状态-观测对应关系。因此，其源自制作的状态应作为具有记录来源和操作条件的显式监督使用，而非未经校准的真实世界物理真值。

7.2 结论

CG-World通过世界状态协议和大规模数据集，对齐了工业CG状态、动作、多模态观测和因果分支。这种监督支持对状态演化、观测生成和干预结果进行建模，超越了终端像素拟合，从而改善了受控视频生成、动作预测和具身操作迁移。

第 8 页

参考文献 Ahmed, O.; Träuble, F.; Goyal, A.; Neitz, A.; Bengio, Y.; Schölkopf, B.; Bauer, S.; and Wüthrich, M. 2021. CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning. In International Conference on Learning Representations. Bakhtin, A.; van der Maaten, L.; Johnson, J.; Gustafson, L.; and Girshick, R. 2019. PHYRE: A New Benchmark for Physical Reasoning. In Advances in Neural Information Processing Systems, volume 32. Ben-Yosef, M.; Halperin, T.; Korem, N. K.; Salama, M.; Khazatsky, A.; Pertsch, K.; Nair, S.; et al. 2024. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset. In Proceedings of Robotics: Science and Systems XX. Bruce, J.; Dennis, M.; Edwards, A.; et al. 2024. Genie: Generative Interactive Environments. arXiv:2402.15391. Cain, H.; Joseph, A.; Chen, A.; Jelercic, U.; and Bibi, O. 2026. AVControl: Efficient Framework for Training Audio-Visual Controls. arXiv:2603.24793. Carreira, J.; Noland, E.; Hillier, C.; and Zisserman, A. 2019. A Short Note on the Kinetics-700 Human Action Dataset. arXiv:1907.06987. Chang, A.; Dai, A.; Funkhouser, T.; et al. 2017. Matterport3D: Learning from RGB-D Data in Indoor Environments. In Proceedings of the International Conference on 3D Vision, 667–676. Chen, T.-S.; Siarohin, A.; Menapace, W.; et al. 2024. Panda-70M: Captioning 70M Videos with Multiple Cross-Modality Teachers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 13320–13331. Dai, A.; Chang, A. X.; Savva, M.; Halber, M.; Funkhouser, T.; and Nießner, M. 2017. ScanNet: Richly-Annotated 3D Reconstructions of Indoor Scenes. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 5828–5839. Deng, J.; Dong, W.; Socher, R.; Li, L.-J.; Li, K.; and Fei-Fei, L. 2009. ImageNet: A Large-Scale Hierarchical Image Database. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 248–255. Ding, J.; Zhang, Y.; Shang, Y.; et al. 2025. Understanding World or Predicting Future? A Comprehensive Survey of World Models. ACM Computing Surveys, 58(3): 1–38. Gan, C.; Schwartz, J.; Alter, S.; et al. 2021. ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation. In Proceedings of the NeurIPS Track on Datasets and Benchmarks, volume 1. Grauman, K.; Westbury, A.; Byrne, E.; et al. 2022. Ego4D: Around the World in 3,000 Hours of Egocentric Video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 18995–19012. Greff, K.; Belletti, F.; Beyer, L.; et al. 2022. Kubric: A Scalable Dataset Generator. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 3749–3761. HaCohen, Y.; Brazowski, B.; Chiprut, N.; et al. 2026. LTX-2: Efficient Joint Audio-Visual Foundation Model. arXiv:2601.03233. Hafner, D.; Pasukonis, J.; Ba, J.; and Lillicrap, T. 2025. Mastering Diverse Control Tasks through World Models. Nature, 640: 647–653. Hu, A.; Russell, L.; Yeo, H.; Murez, Z.; Fedoseev, G.; Kendall, A.; Shotton, J.; and Corrado, G. 2023. GAIA-1: A Generative World Model for Autonomous Driving. arXiv:2309.17080. Hu, E. J.; Shen, Y.; Wallis, P.; Allen-Zhu, Z.; Li, Y.; Wang, S.; Wang, L.; and Chen, W. 2022. LoRA: Low-Rank Adaptation of Large Language Models. In International Conference on Learning Representations. Kim, M. J.; Finn, C.; and Liang, P. 2025. Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success. arXiv:2502.19645. Kim, M. J.; Pertsch, K.; Karamcheti, S.; et al. 2025. OpenVLA: An Open-Source Vision-Language-Action Model. In Proceedings of the 8th Conference on Robot Learning, volume 270 of PMLR, 2679–2713. Li, C.; Xia, F.; Martín-Martín, R.; et al. 2022. iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks. In Proceedings of the 5th Conference on Robot Learning, volume 164 of PMLR, 455–465. Li, M.; Yang, M.; Liu, F.; Chen, X.; Chen, Z.; and Wang, J. 2020. Causal World Models by Unsupervised Deconfounding of Physical Dynamics. arXiv:2012.14228. Liu, B.; Zhu, Y.; Gao, C.; Feng, Y.; Liu, Q.; Zhu, Y.; and Stone, P. 2023. LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning. In Advances in Neural Information Processing Systems, volume 36. Motamed, S.; Culp, L.; Swersky, K.; Jaini, P.; and Geirhos, R. 2026. Do Generative Video Models Understand Physical Principles? In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 948–958. NVIDIA. 2026. Cosmos 3: Omnimodal World Models for Physical AI. arXiv:2606.02800. NVIDIA; Agarwal, N.; Ali, A.; et al. 2025. Cosmos World Foundation Model Platform for Physical AI. arXiv:2501.03575. Open X-Embodiment Collaboration. 2024. Open X-Embodiment: Robotic Learning Datasets and RT-X Models. In Proceedings of the IEEE International Conference on Robotics and Automation, 6892–6903. Pearl, J. 2009. Causality: Models, Reasoning, and Inference. Cambridge University Press, 2 edition. Pixar Animation Studios. 2025. Universal Scene Description (OpenUSD). OpenUSD Official Documentation, https://openusd.org. Raffel, C.; Shazeer, N.; Roberts, A.; et al. 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140): 1–67.

第 9 页

Ramos, S.; Girgin, S.; Hussenot, L.; et al. 2021. RLDS: 一个用于生成、共享和使用强化学习数据集的生态系统。arXiv:2111.02767。 Riochet, R.; Castro, M. Y.; Bernard, M.; Lerer, A.; Fergus, R.; Izard, V.; and Dupoux, E. 2022. IntPhys 2019: 视觉直觉物理理解的基准测试。《IEEE模式分析与机器智能汇刊》，44(9): 5016–5025。 Russell, L.; Hu, A.; Bertoni, L.; Fedoseev, G.; Shotton, J.; Arani, E.; and Corrado, G. 2025. GAIA-2: 一种面向自动驾驶的可控多视图生成式世界模型。arXiv:2503.20523。 Tao, S.; Xiang, F.; Shukla, A.; et al. 2024. ManiSkill3: 面向可泛化具身AI的GPU并行化机器人仿真与渲染。arXiv:2410.00425。 Unterthiner, T.; van Steenkiste, S.; Kurach, K.; Marinier, R.; Michalski, M.; and Gelly, S. 2018. 迈向精确的视频生成模型：新指标与挑战。arXiv:1812.01717。 Walke, H. R.; Black, K.; Zhao, T. Z.; et al. 2023. BridgeData V2: 一个大规模机器人学习数据集。收录于《第7届机器人学习会议论文集》，PMLR第229卷，1723–1736。 Yi, K.; Gan, C.; Li, Y.; Kohli, P.; Wu, J.; Torralba, A.; and Tenenbaum, J. B. 2020. CLEVRER: 用于视频表示与推理的碰撞事件。收录于《国际学习表征会议》。 Zhang, R.; Isola, P.; Efros, A. A.; Shechtman, E.; and Wang, O. 2018. 深度特征作为感知度量的不合理有效性。收录于《IEEE计算机视觉与模式识别会议论文集》，586–595。 Zhao, P.; Lin, J.; Rupprecht, T.; et al. 2026. PhyWorld: 面向视频生成的物理忠实世界模型。arXiv:2605.19242。 Zhou, Y.; Barnes, C.; Lu, J.; Yang, J.; and Li, H. 2019. 论神经网络中旋转表示的连续性。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，5745–5753。 Zitkovich, B.; Yu, T.; Xu, S.; et al. 2023. RT-2: 视觉-语言-动作模型将网络知识迁移至机器人控制。收录于《第7届机器人学习会议论文集》，PMLR第229卷，2165–2183。