In-Context Forcing：用递减噪声上下文打破自回归视频扩散的细节复制陷阱

快速导读：提出一种渐进式自回归范式 In-Context Forcing，通过为历史帧施加递减的噪声水平提供自适应引导，解决现有少步自回归视频扩散模型中因依赖干净帧导致的局部细节泄露和时序动态退化问题。

少步自回归视频扩散模型是当前视频生成领域的一个重要方向，它试图在扩散模型的高质量与自回归模型的流式推理效率之间取得平衡。然而，现有方法普遍存在一个隐蔽但致命的问题：当模型在去噪过程中依赖前一帧的完全干净画面作为上下文时，它会倾向于直接复制局部纹理和轮廓，而非真正推理运动变化，导致生成的视频动态性不足、动作僵硬。

本文提出的 In-Context Forcing 框架，通过一种渐进式噪声上下文策略从根本上解决了这一问题。其核心思想简洁而深刻：为历史帧施加递减的噪声水平，让远处帧提供丰富的语义锚定，同时用高噪声“遮蔽”近处帧的细节，迫使模型真正学习帧间运动。配合训练阶段的 Step-wise Rolling KV Cache 和推理阶段的 Cross-frame Causal Attention，该方法在保持训练-测试一致性的同时，还实现了显著的推理加速。

这篇论文解决什么问题？

视频生成领域长期面临质量与效率的权衡。扩散模型通过迭代去噪生成高质量视频，但推理速度慢，难以满足实时应用需求。自回归模型天然适合流式生成，但生成质量往往不及扩散模型。少步自回归视频扩散模型试图结合两者优势：通过分布匹配蒸馏（DMD）将多步扩散模型压缩为少步生成器，再以自回归方式逐帧或逐块生成视频。

然而，这种结合带来了新的挑战。以 Self Forcing 为代表的方法在训练时依赖前一帧的真实噪声输入，但在推理时只能用模型自己生成的干净帧替代，造成训练-测试不一致。Self Forcing 通过自模拟重用前一帧的干净帧作为上下文来缓解这一问题，却引入了更隐蔽的缺陷：完全去噪的上下文包含了过于丰富的局部细节，模型在注意力机制中会过度聚焦于这些细节的空间位置，形成“捷径学习”——直接复制而非推理。

这一问题在长视频生成中尤为严重。随着生成帧数增加，细节复制的累积效应会导致运动逐渐停滞，动态性急剧下降。实验数据显示，Self Forcing 在三十秒长视频上的动态性得分仅为 52.51，远低于短视频场景的表现。这表明，干净上下文的细节泄露不是一个小瑕疵，而是制约自回归视频扩散模型走向实用的根本性障碍。

核心创新

• 提出 In-Context Forcing 渐进式自回归范式，通过递减噪声上下文提供自适应引导，防止模型走捷径复制局部细节。
• 设计 Step-wise Rolling KV Cache 机制，在训练中通过自模拟维护多噪声级别上下文，确保训练-测试一致性。
• 解耦对完全去噪帧的依赖，引入 Cross-frame Causal Attention 实现帧间并行去噪，显著加速推理。

方法概览

提出 In-Context Forcing 框架：(1) 渐进式自回归范式，为历史帧施加递减噪声水平（相邻帧高噪声，远处帧低噪声）提供自适应引导；(2) 训练时通过 Step-wise Rolling KV Cache 和自模拟机制维护多噪声级别上下文，保证训练-测试一致性；(3) 推理时利用 Cross-frame Causal Attention 实现帧间并行去噪，大幅加速推理。

• 渐进式自回归范式：In-Context Forcing 为历史帧序列施加递减的噪声水平。具体而言，距离当前帧越远的历史帧，施加的噪声越小，保留更多全局语义信息；距离越近的帧，噪声越大，有效遮蔽局部纹理细节。这种设计在信息量和引导强度之间建立了与帧间距离匹配的自适应关系。
• Step-wise Rolling KV Cache：训练时，模型需要同时维护多个噪声级别的上下文。该方法通过逐步滚动的键值缓存机制，在自模拟框架下为每个去噪步提供对应噪声水平的历史帧特征，确保训练过程中模型学会利用多噪声上下文，从根本上消除训练-测试不一致。
• Cross-frame Causal Attention：推理阶段，该方法解耦了对完全去噪帧的串行依赖。通过设计跨帧因果注意力机制，当前帧可以同时关注多个历史帧的不同噪声版本，且各帧的去噪过程可以并行执行，大幅提升推理吞吐量。
• 自适应粗到细的去噪层次：在早期去噪步，高噪声上下文迫使模型关注全局语义对齐和运动趋势；随着去噪推进，上下文噪声逐渐降低，模型自然过渡到细粒度细节 refinement。这种从粗到细的层次化生成过程，通过注意力图可视化得到了清晰验证。

逐图理解论文

失败案例与直觉

该图对比了三种上下文范式。Self Forcing 使用完全去噪帧导致细节泄露，同噪声上下文提供引导不足，In-Context Forcing 的递减噪声策略在两者之间取得平衡。注意观察远处帧（低噪声）和近处帧（高噪声）的视觉差异，这直观展示了自适应引导的原理。

方法贡献与验证

框架总览图展示了三个核心组件：渐进式自回归形式定义了递减噪声规则，Step-wise Rolling KV Cache 保证训练-测试一致性，Cross-frame Causal Attention 实现并行推理。理解这三者的协同关系是把握方法全貌的关键。

核心结论

实验表明，In-Context Forcing 在动态性和语义一致性上显著优于 Self Forcing 和 CausVid 等同类方法。尤其在三十秒长视频生成中，Self Forcing 的动态性得分仅为五十二，而本方法达到八十六，几乎翻倍。用户盲选研究也一致偏好本方法生成的视频。这证明，通过控制上下文的噪声水平来调节信息量，是解决自回归视频扩散中细节泄露问题的有效策略。

实验如何设计？

• 基座架构：所有实验基于 Wan2.1 的 1.3B 参数版本，采用 DMD 分布匹配蒸馏框架进行少步生成训练。
• 评测基准：在 VBench 综合评测基准上进行短视频和 30 秒长视频的定量评估，涵盖总体质量、语义一致性和动态性等多个维度。
• 对比方法：与 Wan2.1、CausVid、Self Forcing 和 Rolling Forcing 等同类架构的 SOTA 方法进行全面比较。
• 分析实验：通过注意力图可视化（第 9 页和第 13 页）、去噪过程可视化（第 14 页）和盲选 A/B 用户研究（第 8 页）进行深入的定性分析。
• 消融实验：验证渐进式上下文设计的即插即用提升效果和训练增益（第 7 页）。

关键结果与论文证据

• VBench 短视频总分 84.34，质量得分 84.99，语义得分 81.77，动态性得分 72，在同类架构方法中表现最优（第 7 页）。
• 30 秒长视频 VBench 总分 82.97，动态性得分 86.40，相比 Self Forcing 的 52.51 和 Rolling Forcing 的 40.63 有大幅提升，证明方法在长时序生成中的优势（第 8 页）。
• 推理吞吐量达到 18.4 FPS（chunk-wise）和 16.2 FPS（frame-wise），相比 Self Forcing 实现 82% 的相对加速（第 7 页）。
• 注意力图可视化显示，Self Forcing 在早期去噪步呈现锐利的对角集中模式，过度关注前一帧的精确空间位置；In-Context Forcing 则维持更分散的注意力分布，拥有更广阔的语义感受野（第 9 页和第 13 页）。
• 去噪过程可视化表明，Self Forcing 在第一步去噪就过快地恢复了细节，导致后续步骤缺乏 refinement 空间；In-Context Forcing 呈现清晰的从粗到细层次化生成过程（第 14 页）。
• 用户盲选研究中，In-Context Forcing 在与 Wan2.1、CausVid 和 Self Forcing 的所有对比中均被一致偏好（第 8 页）。

阅读时需要注意

• 训练收敛时间增加：由于引入渐进式多噪声上下文，模型需要约 1900 次迭代才能完全适应，相比 Self Forcing 的 1500 次增加了约 27% 的训练开销（第 15 页）。
• 推理加速依赖 GPU 并行能力：Cross-frame Causal Attention 的帧间并行去噪在高端 GPU 上效果显著，但在低端设备上加速效果可能受限。
• 方法验证基于 Wan2.1 架构和 DMD 蒸馏框架，迁移到其他基座模型或蒸馏方案时需进一步验证其通用性。

关联工作

• Diffusion Forcing（第 2 页）：首次提出在训练中为每帧添加独立噪声以支持灵活的金字塔式推理调度，但存在训练-测试不一致问题，本文的渐进式噪声设计可视为对其思想的深化和修正。
• CausVid（第 3 页）：首次形式化非对称蒸馏将双向教师模型蒸馏为因果学生模型，但依赖真实噪声输入导致训练-测试差距，本文通过自模拟机制解决了这一问题。
• Self Forcing（第 3 页）：通过自模拟重用前一帧干净帧作为上下文来缓解训练-测试差距，是本文的直接对比基线，但其干净上下文细节泄露问题正是本文要解决的核心痛点。
• Rolling Forcing（第 3 页）：引入外推技术和窗口双向注意力实现长视频生成，但分裂训练策略导致训练-测试不一致，损害运动多样性。