WROP 资源

在世界模型中训练物体恒常性

作者

快速导读：WROP 用 150 个认知科学启发的 Blender 任务构建 150 万样本与 300 题考试，评测并微调视频世界模型的物体恒常与固体性；PWM-WROP 在人评 Elo 中拿下真续写类第一、总榜第三。

视频生成模型已经能做出很“像真”的镜头，却仍常在遮挡后丢物体、穿墙而过或接触后莫名消失——这些失败正好对应人类核心知识里的物体恒常与固体性。若连这两层先验都不稳，更高层的碰撞、支撑与因果叙事很容易一起垮。

多机构合作的 Training Object Permanence in World Models（arXiv:2609.28654，项目页 https://object-permanence.world 。发布 WROP：150 个手写 Blender 生成器、六类认知任务、150 万训练样本与 300 题考试；并在盲测人评 Elo 中用微调续写模型 PWM-WROP 拿到真续写类第一、总榜第三。数据、考题、答案、分数、权重与 Trainium2 上的 PWM 训练栈一并开源。

英文题目：Training Object Permanence in World Models

论文出处：arXiv 每日论文精选 · arXiv:2609.28654

原始论文：PDF / 论文页面

这篇论文解决什么问题？

婴儿约 3.5 个月已能表征被遮挡物体，半岁内也能察觉固体性违背；发展科学把 OP/OS 视为后续物理推理的脚手架。视频世界模型若允许互穿或凭空消失，后续碰撞与支撑事件很难物理自洽（第2页）。

现有公开评测更常盯画质、文本对齐或一般时序一致性，缺少按认知范式系统构造、又能同时服务训练与考试的遮挡/固体任务基础设施。

视频模型接口也不一样：真续写、参考生视频、编辑/迁移对“输入结束后发生什么”的假设不同，横向比分若不标接口类别，很容易把重绘自由误读成更强物理智能（第8–10页）。

核心创新

  • 把发展科学中的恒常与固体范式做成可规模化合成的视频训练与考试基础设施。
  • 显式区分三种视频接口，并在统一人评 Elo 下比较 14 个系统。
  • 用 WROP 微调得到真续写类最强的 PWM-WROP，并开源数据、考题与训练栈。

方法概览

WROP 将 150 个参数化 Blender 生成器分成 OP/OS 六族，渲染 120 帧并在关键事件处切分为输入/目标；发布 1.5M 训练语料与 300 题考试。评测覆盖 14 个真续写/参考生视频/编辑模型，主指标为人偏好 Elo；并在该数据上微调 16B 续写模型 PWM-WROP。

  • 认知分类：六族任务，OP 三族（动态遮挡、静态场景遮挡、容器隐藏与移动）与 OS 三族（阻挡、支撑移除、碰撞）；共 150 个生成器，约 90 OP + 60 OS（第4页，Figure 2–3）。
  • 样本协议：每条 120 帧、1280×720、24 fps；在关键物理事件起点切成 60 帧输入 + 60 帧目标，并附提示、逐帧位姿轨迹与元数据。动作是关键帧手写而非刚体求解器，以保证遮挡与接触时机可控（第6页）。
  • 生成管线：参数化 Blender 生成器 → 共享 EEVEE 渲染驱动随机化光照材质等滋扰因素 → 打包五元组。Marked Boxes Swap 等设计刻意让盒子交换屏幕位置后仍保持标记–内容绑定，防止只靠终局位置猜身份（第6页，Figure 4）。
  • 评测：14 个模型分三类接口统一推理；人评 20 名过合格筛的评定者做盲成对比较，Bradley–Terry 拟合成均值 1500 的 Elo，并给 rater-cluster bootstrap 区间。自动全参考指标只作次要诊断，因编辑模型可能靠重绘静态前事件刷高 SSIM（第8–9、15页）。
  • 模型：PWM-WROP 为约 16B 真续写世界模型，在 WROP 上微调；推理条件最后 57 帧、预测 60 帧，原生 320×192（第2、8页）。

逐图理解论文

失败模式

失败模式
Figure 2 Taxonomy of the six WROP task families. The top row evaluates object permanence through dynamic occlusion, static-scene occlusion, and container-based concealment and movement; the bottom row evaluates object solidity through obstruction, support removal, and collision. Each panel shows representative frames from a sample drawn from one generator in the corresponding task family: an early input frame, the final input frame at the split boundary, and a target frame depicting the expected physical outcome.

图2把六族任务画成 Input–Split–Target 三联画：上排 OP（动态遮挡、静态遮挡、容器），下排 OS（阻挡、去支撑、碰撞）。读图时应抓住每格下方的认知要点，而不是场景装饰。

WROP 资源

WROP 资源
Figure 1 WROP: World Reasoning with Object Permanence. We introduce a benchmark and training resource for object permanence and solidity in video generation models, built on 150 hand-designed Blender generators across six task families. Each generator randomises lighting, camera angle, speed, and other nuisance parameters while preserving the task’s core cognitive-scientific structure, yielding 10,000 samples per task. We release this 1.5M-sample training corpus, a 300-question evaluation exam with human Elo ratings across 14 video generation models, and PWM-WROP, a fine-tuned continuation model trained on WROP data achieving state-of-the-art performance in its category.

图1用密铺的 Blender 场景缩略图概括 WROP：150 生成器、六族任务、150 万样本、300 题考试与 PWM-WROP。适合封面式总览，强调这是训练资源+基准+模型的一整套发布。

关键证据

关键证据
Figure 5 Human-preference Elo of the 14 models. Points are Bradley–Terry strengths on an Elo scale (mean 1500, dashed line), bars are 95% rater-clustered bootstrap intervals, colour is interface class, and PWM-WROP (filled) is the top true-continuation model.

图5是 14 模型人偏好 Elo 点图：均值线 1500，误差条为 95% bootstrap；颜色标接口类，实心点标出 PWM-WROP。它直观说明微调续写模型冲到总榜第三、真续写第一，同时提醒区间重叠时不要过度解读细排名。

实验如何设计？

  • 主榜：300 题考试上 14 模型人偏好 Elo（Table 2，Figure 5）。
  • 分族：六任务族内分别拟合秩次热图（Figure 6）。
  • 定性：每族挑代表性生成器，对照 PWM-WROP 与失败案例（G43/G19/G66 等，第12–15页）。
  • 次要：320×192 对齐后的 LPIPS/MS-SSIM/PSNR/CLIP/FID 等全参考指标（Table 3）。

关键结果与论文证据

  • 总榜：Wan 3.0 Prime 与 MiniMax H3 并列 Elo 1723.6；PWM-WROP 1679.5 排第三，且是真续写类最高，相对 Grok Imagine video-extend 1457.0 领先约 224 Elo（第10页，Table 2）。
  • 接口效应强于单纯参数量叙事：参考生视频占前排，编辑/迁移多聚集在中段；bootstrap 第一概率主要落在前四名（第10页）。
  • 分族上 PWM-WROP 在 OP-2 静态遮挡第一，OP-1/OP-3 第三；OS 更波动（OS-2 第二、OS-1 第五、OS-3 第八），提示遮挡追踪与接触动力学可能需要不同表征（第11页）。
  • 定性失败常见两类：表征脱落（遮挡后计数/身份错乱、穿障）与因果解耦（去支撑不下落、碰撞后物体增减）（第15页）。
  • 自动指标上 PWM-WROP 在同尺度比较里 LPIPS 0.081、MS-SSIM 0.921 等表现靠前，但作者强调这些测的是贴近参考而非直接测恒常能力（第15页）。

阅读时需要注意

  • 数据是受控合成动画，不是真实物理引擎 rollout，外推到开放世界视频需谨慎。
  • 真续写、参考生视频与编辑接口假设不同，总榜名次不应直接等价为同一能力排序。
  • PWM-WROP 原生分辨率较低；与商用系统比仍受架构与训练差异纠缠，不能把差距只归因于 WROP 微调。
  • OS 任务尤其碰撞族仍偏弱，说明当前微调对接触动力学增益有限。

关联工作

  • 核心知识与发展心理学中的 Baillargeon 等范式，为任务命名与结构提供认知科学坐标。
  • 当代视频/世界模型（开源续写、商用参考生视频与编辑系统）构成接口分类与 Elo 对照池。
  • PWM 与 AWS Trainium2 训练栈强调可复现发布，而不只是单次榜单分数。

发表评论