研究空白与核心假设

世界模型中的柏拉图表示假说：预测一致性如何驱动表示收敛

作者

快速导读：本文通过DINO-WM框架验证：在相同状态转移目标下训练的世界模型，其predictor内部表示会向共享的潜在结构收敛，且该收敛受架构归纳偏置约束。

柏拉图表示假说（Platonic Representation Hypothesis, PRH）认为，不同模型在规模扩大和训练充分时会收敛到共享的统计表示。这一假说已在静态视觉和语言领域得到验证，但尚未触及一个更根本的问题：当模型必须内化物理世界的视觉动态时，表示收敛是否依然成立？本文以DINO-WM为测试平台，系统研究了异构视觉先验下世界模型predictor内部表示的几何对齐与功能兼容性。

核心发现是：在相同状态转移目标下训练的世界模型，其predictor内部表示确实会向共享的潜在结构收敛，且这一收敛并非简单继承编码器几何，而是预测训练本身驱动的涌现现象。同时，收敛程度受架构归纳偏置约束——ViT-based先验之间对齐显著，而ResNet-based模型始终保持不同的表示拓扑。

英文题目：Platonic Representation Hypothesis on World Models

论文出处：arXiv 每日论文精选 · arXiv:2608.23720

原始论文：PDF / 论文页面

这篇论文解决什么问题？

世界模型（World Model）通过学习状态转移来模拟环境动态，是模型预测控制与规划的核心组件。DINO-WM是一种不重建像素、直接在预训练视觉特征上建模动态的世界模型架构，其predictor负责将当前状态特征映射到下一状态特征。

柏拉图表示假说在静态视觉和语言领域已获得大量支持，但世界模型面临一个独特的挑战：predictor不仅要编码静态语义，还必须内化物理动态规律。这种动态约束是否构成更强的表示收敛压力，此前无人探索。

本文提出Predictive Consistency Assumption（预测一致性假设）：状态转移预测优化本身即可驱动不同模型内部表示向共享结构对齐。这一假设将PRH从静态表示扩展到动态预测场景。

研究设计的关键在于隔离变量：固定视觉编码器（DINOv2-S/B/L/G、SigLIP、MAE、ResNet18），仅训练6层ViT predictor。这样，编码器之间的几何差异成为已知输入，而predictor内部表示的演化则完全归因于状态转移预测训练。

核心创新

  • 首次将柏拉图表示假说扩展到世界模型领域，提出Predictive Consistency Assumption
  • 通过系统替换视觉编码器构建异构世界模型，隔离视觉先验对表示收敛的影响
  • 结合几何度量（m-kNN）与功能测试（representation stitching）双重验证表示对齐
  • 通过encoder-space与predictor-space对比，排除predictor对齐仅继承编码器几何的解释

方法概览

采用DINO-WM架构，固定视觉编码器（DINOv2-S/B/L/G、SigLIP、MAE、ResNet18），仅训练6层ViT predictor。以DINOv2-S@epoch10为锚点，用anchored m-kNN度量predictor隐藏状态的几何相似性，用representation stitching（拼接predictor层+轻量MLP adapter）验证功能兼容性。

  • 采用DINO-WM架构，在PointMaze、PushT、Wall、Rope、Granular五个基准环境上训练异构世界模型，覆盖导航、接触丰富操作和变形体动态。
  • 以DINOv2-S@epoch10为Platonic Anchor（柏拉图锚点），在epochs 1/3/5/7/10计算anchored m-kNN，追踪predictor隐藏状态与锚点的几何相似性演化。m-kNN度量两个表示空间局部拓扑保持程度，其理论基础来自Relative Representations（Moschella et al., 2022）。
  • 通过对比raw encoder、predictor@1、predictor@10三个阶段的跨模型m-kNN，解耦编码器相似性与predictor对齐。若predictor@1的分数低于encoder，说明predictor并非简单继承编码器几何；若predictor@10的分数回升，则说明预测训练诱导了新的跨模型对齐。
  • 采用representation stitching（表示拼接）验证功能兼容性：将两个模型的predictor层在深度k处拼接，仅训练轻量MLP adapter桥接特征空间，冻结其余参数。拼接成功率（SSR）直接衡量下游规划任务中的功能可互换性。
  • 锚点敏感性分析：用SigLIP@10和MAE@10替代DINOv2-S@10作为参考锚点，验证对齐趋势是否依赖于特定锚点选择。
  • 长训练稳定性分析：在epochs 20/30/50检查对齐模式的持续性，排除对齐仅是早期训练暂态现象的可能。

逐图理解论文

一个反直觉的观察

一个反直觉的观察
Table 1: Zero-shot Planning Success Rates at Epoch 10. Comparison of World Models initialized with heterogeneous vision priors across five environments. DINOv2-S is designated as the Platonic Anchor due to its superior average performance and robustness. Success Rates (SR) are reported for navigation/pushing tasks, while Chamfer Distance (CD) is used for Rope/Granular (where lower is better).

先看一个反直觉的现象。同样是在Wall环境里做规划，用DINOv2初始化的世界模型成功率很高，而用ResNet初始化的模型表现明显更差。如果表示真的会收敛，为什么架构差异会留下这么大的性能鸿沟？这说明表示对齐不是无条件的，它可能被架构的归纳偏置所约束。

研究空白与核心假设

研究空白与核心假设
Figure 1: The Platonic Representation Hypothesis on World Models. World models initialized from heterogeneous visual priors are optimized under the same transition objective (st →st+1). Predictive consistency acts as a selective pressure that can drive their internal predictor representations toward a shared latent structure.

该图展示了核心假设的示意：异构视觉先验初始化的世界模型在相同状态转移目标下训练，预测一致性作为选择压力驱动predictor内部表示向共享潜在结构收敛。观察时应关注从异构初始状态到共享结构的收敛箭头。

几何证据：对齐是涌现的

几何证据：对齐是涌现的
Figure 5: Encoder-space baseline versus predictor-space alignment. For each environment, we compare m-kNN alignment between DINOv2-S and each candidate model in raw encoder space, predictor space at epoch 1, and predictor space at epoch 10. The drop from Encoder to Predictor@1 shows that the predictor does not simply inherit encoder geometry. The recovery from Predictor@1 to Predictor@10 then indicates that transition-prediction training induces a new cross-model alignment in predictor space.

该图是解耦编码器相似性与predictor对齐的关键证据。注意从encoder到predictor@1的分数下降（predictor重新参数化）和从predictor@1到predictor@10的回升（预测训练驱动新对齐）这一V形模式。

功能证据：拼接实验

功能证据：拼接实验
Table 2: Stitched Success Rate (SSR) for different predictor layer combinations.

该表展示representation stitching的功能兼容性结果。重点对比DINO(1-3)+SigLIP(4-6)的SSR=0.62与DINO(1)+SigLIP(2-6)的0.30，以及MAE作为浅层时的方向性退化，说明深层表示更具可互换性且方向性不对称。

结论与意义

结论与意义
Figure 8: Anchor sensitivity analysis. We recompute anchored m-kNN trajectories using DINOv2- S@10, SigLIP@10, and MAE@10 as reference anchors, excluding trivial self-anchor trajectories. While absolute scores and some local rankings vary with the anchor, the qualitative pattern remains stable: strong ViT-based predictors stay closer to one another, whereas ResNet is consistently less aligned in most environments. This suggests that the alignment trend is not unique to the DINOv2-S reference, although the anchor should still be interpreted as a performance-motivated reference rather than a true Platonic ideal.

该图验证锚点敏感性。观察以SigLIP@10和MAE@10为锚点时，强ViT-based predictor仍彼此接近、ResNet仍最不对齐的稳健模式，同时注意绝对分数的变化提示锚点不应被解释为柏拉图理想。

实验如何设计？

  • 五个DINO-WM基准环境：PointMaze（导航）、PushT（接触丰富操作）、Wall（导航）、Rope和Granular（变形体动态），覆盖不同动态复杂度。
  • 视觉编码器池：DINOv2-S/B/L/G（ViT-based自监督）、SigLIP（对比语言图像预训练）、MAE（掩码自编码器）、ResNet18（卷积架构），构成异构先验集合。
  • 训练协议：冻结编码器，仅训练6层ViT predictor，epochs 1-10为主要分析窗口，延伸至epoch 50检查长期稳定性。
  • 评估指标：anchored m-kNN（几何对齐）、SSR（拼接成功率，功能兼容性）、SR（规划成功率）、Chamfer Distance（变形体任务评估）。
  • 拼接实验扫描split depth k∈{1,2,3}，覆盖predictor不同深度的表示交换。

关键结果与论文证据

  • DINOv2-S在PointMaze SR=1.00、PushT SR=0.90、Wall SR=0.90，为所有先验中综合规划性能最强，因此被选为Platonic Anchor（Table 1, p.5）。
  • ResNet在PushT SR=0.26、Wall SR=0.30，显著低于ViT先验，表明卷积拓扑与patch-token predictor接口存在根本性不兼容（Table 1, p.5）。
  • anchored m-kNN演化显示：DINOv2-B/G/L模型对齐度最高，MAE和SigLIP呈现明显的上升趋势，而ResNet始终得分最低，表明其表示拓扑与ViT-based锚点持续不同（Figure 3, p.5）。
  • encoder-space与predictor-space对比揭示关键机制：从encoder到predictor@1，m-kNN分数通常下降，说明predictor已重新参数化了视觉特征空间；从predictor@1到predictor@10，分数回升，说明预测训练驱动了新的跨模型对齐（Figure 5, p.7）。
  • within-model encoder-predictor几何分析排除了"对齐恢复即编码器恢复"的解释：在Rope和Granular等环境中，predictor到epoch 10反而变得更不像自己的编码器，即使跨模型对齐在改善（Figure 6, p.7）。
  • representation stitching显示功能兼容性：DINO(1-3)+SigLIP(4-6)拼接在Wall上SSR=0.62，而DINO(1)+SigLIP(2-6)仅0.30，说明深层表示比浅层更具可互换性（Table 2, p.9）。
  • 方向性退化：MAE(1-3)+DINO(4-6)在Wall上SSR=0.02，MAE(1-3)+SigLIP(4-6)为0.00，表明弱规划器的浅层表示无法支撑强规划器的深层预测（Table 2, p.9）。
  • 锚点敏感性分析确认对齐趋势的稳健性：以SigLIP@10或MAE@10为锚点时，强ViT-based predictor仍彼此接近，ResNet仍最不对齐，但绝对分数和局部排序会变化（Figure 8, p.14）。

阅读时需要注意

  • 结论仅限于冻结编码器的DINO-WM模型和五个模拟控制任务，尚未验证在更大规模、更复杂环境或端到端训练设置下的普适性。
  • DINOv2-S锚点是操作性性能参考，并非真正的柏拉图理想表示；锚点选择影响绝对m-kNN值和局部排序。
  • m-kNN和stitching探测的是潜在几何和功能兼容性，不能证明完全恢复了客观物理规律。
  • ResNet因卷积拓扑与patch-token predictor接口不兼容，被排除在stitching实验之外，限制了架构多样性结论的完整性。
  • 对齐分数不随训练单调递增，后期可能出现波动或平台期，对齐与规划性能之间并非简单线性关系。

关联工作

  • DINO-WM（Zhou et al., 2024）提供了本文的架构基础，其不重建像素、直接在预训练特征上建模动态的设计使predictor成为表示对齐分析的理想测试平台。
  • Platonic Representation Hypothesis（Huh et al., 2024）是本文的理论出发点，本文将其从静态表示扩展到动态预测场景，提出Predictive Consistency Assumption。
  • Relative Representations（Moschella et al., 2022）为m-kNN作为几何度量提供了理论依据，使跨模型比较不依赖于绝对坐标对齐。
  • Model Stitching（Lenc and Vedaldi, 2014）是representation stitching的方法论来源，本文将其应用于世界模型predictor的功能兼容性测试。
  • Dreamer（Hafner et al., 2019/2023）作为潜在动态世界建模的代表性框架，构成了本文研究的问题背景。

发表评论