RISE 的贡献

RISE：让世界动作模型按场景自适应地想象未来

作者

快速导读：RISE 提出一种即插即用的自适应想象框架，通过 Latent Evaluator 与 Rollout Gate 对每个场景做序列化 Roll/Stop 决策，并构建 CounterDrive 反事实数据集以增强风险监督，在 NAVSIM 与 nuScenes 上取得最优规划性能。

RISE 针对 World Action Model（WAM）中一个被长期忽视的问题：所有场景都被分配相同的未来想象预算。这种固定 rollout 深度意味着简单场景浪费计算，复杂场景又想象不足。论文的核心主张是，继续 rollout 是否值得，应当由当前前缀对规划的实际增益来决定，而不是由全局超参数决定。

为此，RISE 引入一个轻量 Scheduler，包含 Latent Evaluator 与 Rollout Gate 两个组件，对每个场景做序列化的 Roll/Stop 决策。同时，论文构建了 CounterDrive 反事实数据集，为风险预测提供监督。实验在 NAVSIM 与 nuScenes 上验证了该框架的有效性与可迁移性。

英文题目：RISE: Adaptive Imagination for World Action Models

论文出处：arXiv 每日论文精选 · arXiv:2608.20430

原始论文：PDF / 论文页面

这篇论文解决什么问题？

WAM 通过预测未来世界演化来改进规划，但未来想象会显著增加推理成本。现有方法大致分为三类：Imagine and Plan 联合使用观测与预测潜在状态进行规划，Imagine then Plan 先做完整 rollout 再生成动作，No Imagination 则直接从观测规划。这三类方法的推理调度都是全局固定的，缺乏对当前前缀是否足以规划、或继续预测能否提升决策的逐步评估。

这种固定预算策略的缺陷在驾驶场景中尤为明显。直道跟车时，当前观测往往已经足够支持稳定规划，额外 rollout 几乎不改变轨迹；而在路口转弯或密集交互场景中，缺乏足够的前瞻会导致轨迹曲率与方向出现明显偏差。论文通过固定深度下的轨迹对比直观展示了这种场景依赖性。

更深层的问题是：现有方法没有一个可学习的信号来回答『继续想象是否值得』。随机停止或基于潜在状态收敛的停止策略都无法捕捉规划层面的边际收益，因为它们不直接衡量 rollout 对最终规划分数的影响。这正是 RISE 试图填补的研究空白。

核心创新

  • 提出 Future Planning Gain 概念，将继续 rollout 的效用直接与规划分数变化关联，作为序列化停止信号
  • 设计即插即用的 Adaptive Rollout Scheduler（Latent Evaluator + Rollout Gate），使有效 rollout 深度随场景自适应
  • 构建 CounterDrive 反事实驾驶数据集，包含多样化交互结果与风险等级，支持风险定位监督
  • 三阶段训练框架：先训练 Predictor 与变前缀 Planner，再学习风险与增益信号，最后蒸馏为成本感知的停止策略

方法概览

RISE 在 Encoder–Predictor–Planner WAM 上增加轻量 Scheduler：Latent Evaluator 预测 Risk Profile 和 Future Planning Gain Profile，Rollout Gate 权衡预期增益与计算成本做 Roll/Stop 决策；同时构建 CounterDrive 反事实数据集提供风险监督，采用三阶段训练（Predictor+初始 Planner、Evaluator+引导 Planner、Rollout Gate）。

  • RISE 在 Encoder–Predictor–Planner 的 WAM 基础上增加一个轻量 Scheduler。Predictor 逐步生成未来潜在状态，Planner 支持从任意前缀深度进行规划，这为序列化决策提供了基础。
  • Latent Evaluator 对每个前缀深度预测两个信号：Risk Profile 估计该深度对应的轨迹风险，Future Planning Gain Profile 估计继续 rollout 相对于当前前缀的规划分数改进。
  • Future Planning Gain 是论文的核心概念。它不再用潜在状态收敛或启发式规则作为停止依据，而是直接衡量继续 rollout 对规划结果的边际贡献，使停止决策与最终任务目标对齐。
  • Rollout Gate 在每个前缀深度权衡预期增益与计算成本，做出 Roll 或 Stop 的决策。推理时 Gate 只观察当前可用前缀，不依赖全 horizon 枚举。
  • CounterDrive 是一个反事实驾驶数据集，通过视频生成模型 Wan 2.7 生成多样化的交互结果与事故场景，并用 OpenVO 恢复帧级 ego 位姿。它提供风险定位监督，但不用于 Erisk 标量目标监督，因为反事实视频不提供可靠的未来智能体几何信息。
  • 训练分三个阶段：先训练 Predictor 与变前缀 Planner，再学习风险与增益信号，最后将停止策略蒸馏为成本感知的 Rollout Gate。全 horizon 枚举仅用于构造训练目标，不参与推理。

逐图理解论文

固定预算的失效

固定预算的失效
Figure 6 compares trajectories generated at different fixed rollout depths. In the first two simple lane-following scenes, predictions at all depths nearly overlap, indicating that additional rollout has little influence when the current observation already supports a stable plan. In contrast, the turning and intersection cases exhibit clear differences in trajectory curvature and direction across rollout depths. This comparison shows that sensitivity to rollout depth is scene-dependent: simple scenes remain stable across depths, whereas complex scenes require an appropriate rollout budget.

先看一个直观的失败案例。在直道跟车时，当前观测已经足够支持稳定规划，继续 rollout 几乎不改变轨迹；但在路口转弯或密集交互场景中，想象不足会导致轨迹曲率和方向出现明显偏差。固定 rollout 深度意味着简单场景浪费计算，复杂场景又想象不足。

研究空白

研究空白
Figure 1 . Comparison of various imagination strategies in WAMs. (a) Imagine and Plan jointly uses observed and predicted latents for planning, (b) Imagine then Plan performs future rollout before action generation, and (c) No Imagination plans directly from the observation. (d) RISE introduces a lightweight Scheduler that adaptively routes computation to further prediction or final planning.

该图对比了三种固定想象策略与 RISE 的自适应路由。注意 RISE 的 Scheduler 在每个前缀深度做 Roll/Stop 决策，而不是一次性决定全部 rollout 深度，这是理解框架的关键。

RISE 的贡献

RISE 的贡献
Figure 2 . Overview of RISE. The WAM learns future prediction and variable-prefix planning. The Latent Evaluator predicts a Risk Profile Rh and a Future Planning Gain Profile Bh, supervised by counterfactual risks and all-horizon planning outcomes. The Rollout Gate balances the predicted gain against computation cost, routing xh > 0 to further rollout and xh ≤0 to planning.

概览图展示了 Latent Evaluator 如何预测 Risk Profile 与 Future Planning Gain Profile，以及 Rollout Gate 如何根据这两个信号路由到进一步 rollout 或最终规划。观察训练阶段的监督信号来源有助于理解三阶段训练设计。

验证与结论

验证与结论
Table 4 . Ablation of the Scheduler and CounterDrive on NAVSIM. Both components improve performance.

实验表明，Scheduler 和 CounterDrive 各自独立有效，组合起来效果最好。与 Random Stop 和 Latent Margin 相比，Scheduler 用更少的平均 rollout 次数达到了更高的规划分数，说明有效的停止应当反映规划增益，而不是随机分配或潜在收敛。更重要的是，Scheduler 迁移到 DAWN 架构后同样带来提升，证明它是即插即用的。

实验如何设计？

  • 在 NAVSIM v1、NAVSIM v2 和 nuScenes 上与 13 个代表性驾驶 WAM 基线对比，覆盖 Imagine and Plan、Imagine then Plan 与 No Imagination 三类策略。
  • 消融 Scheduler 与 CounterDrive 的独立及组合贡献，以区分未来监督增强与自适应计算分配各自的作用。
  • 将 Scheduler 与 Random Stop、Latent Margin 两种自适应 rollout 策略对比，验证停止信号应反映规划增益而非随机分配或潜在收敛。
  • 分析固定 rollout 深度下不同场景的最优深度分布，以及 CounterDrive 对安全关键风险排序（AUC@h）和事故识别（Acc）的影响。
  • 将 Scheduler 迁移到 DAWN 架构，验证即插即用的通用性。

关键结果与论文证据

  • 在 NAVSIM v1 上，RISE 的 PDMS 达到 91.5，超越最强基线 0.8 分（第 10 页）。
  • 在 NAVSIM v2 上，EPDMS 达到 90.8，超越最强基线 0.9 分（第 11 页）。
  • 在 nuScenes 上，平均 L2 误差为 0.31 m，碰撞率为 0.10（第 10 页）。
  • 消融显示 CounterDrive 单独将 EPDMS/PDMS 从 88.9/89.7 提升至 89.8/90.5，Scheduler 单独达到 90.4/91.2，两者结合达到 90.8/91.5，说明二者互补（第 11 页）。
  • 与 Random Stop 和 Latent Margin 相比，Scheduler 以 2.40 次平均 rollout 和 287.429 ms 延迟达到 90.8 EPDMS，证明有效停止应反映规划增益（第 11 页）。
  • CounterDrive 将 AUC@1s–4s 从 0.49–0.52 提升至 0.93–0.96，Acc 从 0.51 提升至 0.96，显著增强安全关键风险排序能力（第 12 页）。
  • Scheduler 迁移至 DAWN 后，PDMS 从 89.1 提升至 90.3，验证了框架的即插即用性（第 13 页）。
  • 计算成本权重 λ=0.005 时 EPDMS 达 90.8，λ=0 时为 90.0，过大的 λ 会过度惩罚继续 rollout 而损害性能（第 27 页）。

阅读时需要注意

  • 实验仅聚焦自动驾驶领域，其他领域的适用性尚未探索。
  • CounterDrive 未覆盖 NAVSIM 训练集全部样本，因生成与过滤成本高，仅覆盖选定子集。
  • 反事实视频不提供可靠的未来智能体几何信息，因此不能用于 Erisk 标量目标监督。

关联工作

  • DAWN 是代表性的 World–Action Interactive Model，作为 Scheduler 迁移实验的目标架构，验证了 RISE 不依赖特定 WAM 实现。
  • Drive-JEPA 提供 ViT-L/16 视觉编码器作为 RISE 的 Encoder，并作为定性对比基线。
  • Latent-WAM、DreamerAD、Epona/EponaV2、DriveFuture 等代表不同 WAM 设计范式，构成对比基线。
  • V-JEPA 2 提供冻结的自监督视频编码器 backbone，Wan 2.7 用于 CounterDrive 反事实视频生成。

发表评论