论文代表图：figure-03-p013-01

自回归视频缺的是窗口，还是记忆？

作者

快速导读：港科大等多机构 25 位作者的综述把 AR 视频生成中的记忆定义为跨外层 rollout 仍可影响未来的持久历史信息，并从 Forms、Functions、Operations、Learning、Evaluation 五条轴梳理文献。

这是一篇 survey，不是新的视频生成方法论文。Harold Haodong Chen 等 25 位作者（港科大、城大、复旦、CMU、NYU、NUS、MBZUAI、NVIDIA、UC Merced 等）在 arXiv:2609.28466（2026 年 9 月预印本）中系统回顾自回归视频生成里的记忆机制。标题 The Past Frames the Future 点明主张：过去必须以可访问的记忆形式继续约束未来。

作者把 memory 定义为跨外层 AR 步维持、即使原始证据已离开局部窗口仍能影响后续生成的持久历史信息。全文按 Forms、Functions、Operations、Learning、Evaluation 五轴展开，并强调有效记忆不只是更大容量，还要准确、可取回、并对下一步有因果作用。相关收录仓库为 https://github.com/HaroldChen19/Awesome-AR-Video-Memory。

英文题目：The Past Frames the Future: Memory for Autoregressive Video Generation — A Survey

论文出处：arXiv 每日论文精选 · arXiv:2609.28466

原始论文：PDF / 论文页面

这篇论文解决什么问题？

视频生成保真度提升后，目标转向长时程、可交互与可演化场景。AR 范式天然适合逐步延展，但上下文、存储与算力有界，历史证据会被迫丢弃。

离散 token 自回归与连续帧/块上的扩散或流匹配，在外层都是因果 rollout，因此共享同一记忆瓶颈：yn 本应依赖完整 y<n，实践中却只能看见窗口 Cn。

无记忆或记忆失效时，失败会表现为实体遗忘、外观漂移、空间不一致、动态退化、语义漂移、因果/状态不一致。综述后面用保持功能来一一对应这些病症。

核心创新

  • 给出跨方法的记忆操作化定义，统一离散与连续 AR 外层 rollout 下的讨论。
  • 用 Forms×Functions 分类树，并映射无记忆失败模式到五类保持功能与 rollout 可靠性。
  • 把运维生命周期与学习范式、评测层级拆开，强调可组合、资源感知、可信更新与可归因评测等开放问题。

方法概览

本文是 survey，不提出新生成器刷榜。作者把 memory 操作化为：在外层 AR 步之间维持、且在原始证据不再局部可见后仍能影响后续生成的持久历史信息。综述按五视角组织：(I) Forms 表征载体；(II) Functions 需保留的语义/物理信息；(III) Operations 写读更新管理集成生命周期；(IV) Learning 闭环 rollout 下的记忆优化；(V) Evaluation 诊断真记忆能力的评测。核心论断是有效记忆不只是容量，保留状态还须准确、可访问、并对后续生成有因果影响。

  • Fig.2 给出总公式：完整条件 pθ(yn|y<n,c) 被近似为 pθ(yn|Cn,Mn,c)。左侧区分离散 token 乘积与连续去噪/流匹配；右侧用漏斗把远历史压成 Mn，与局部上下文和条件 c 一起进逐步生成器。
  • Forms（Fig.3）：历史可由 Visual Memory（像素帧/片段或 VAE latent）、Implicit State（注意力 KV cache、RNN/SSM 状态、压缩编码历史）、Explicit State（实体属性关系、相机轨迹、2D/3D/拓扑场景状态）、Adaptive Parametric Memory（内部权重长期知识或 LoRA/Adapter 模块）承载，并可组合后条件化因果骨干。
  • Functions（Fig.4）：把失败模式映射到 Identity、Spatial、Dynamic、Semantic、Causal 五类保持；Rollout Reliability（训推对齐、因果蒸馏等）画在底部，作为稳定递归自生成的横切支撑，而不是第六类“世界事实”。
  • Operations：写、读、更新、管理、集成构成生命周期；Learning 再拆目标（输出级 / 记忆状态 / 记忆动态）、状态分布（teacher forcing、历史增强、self-rollout）与记忆感知学习（retain/compress/retrieve/adapt）。Evaluation 要求能揭示记忆，而不只报短视频画质。

逐图理解论文

为何需要记忆

为何需要记忆
Figure 2: Overview of autoregressive video generation and memory-conditioned generation. (Left) AR video generation encompasses discrete token autoregression and continuous frame-/chunk-wise generation, which differ in the inner generation process but share the same causal outer rollout over visual units. (Right) Under bounded local context, a persistent memory state retains information from distant history and conditions the step-wise generator together with the current context and external conditions, enabling an approximation to full-history generation.

左：离散 token AR 与连续去噪/流匹配共享外层因果 rollout；右：远历史经 memory formation 成 Mn，与窗口 Cn 和条件 c 一起生成 yn，并写出近似公式。

载体与功能

载体与功能
Figure 3: Overview of memory carriers in autoregressive video generation. Historical context can persist as visual memory, implicit state memory, explicit state memory, or adaptive parametric memory, each comprising distinct carrier forms. These memory types can be combined to condition the causal backbone for subsequent generation.

四种载体细节。Visual 分像素与 VAE；Implicit 含 KV、RNN/SSM、压缩历史；Explicit 含实体与场景/几何状态；Adaptive Parametric 含内部权重与 LoRA/Adapter。中央是 Past Context→Causal Backbone→Next Output。

失败模式映射

失败模式映射
Figure 4: Functional overview of memory mechanisms. (Left) Long-horizon AR generation suffers from distinct failure modes when constrained by bounded local context. (Right) We map these failure modes to five preservation functions that a robust memory system must fulfill for temporal persistence. (Bottom) Rollout Reliability provides cross-cutting support for stabilizing the recursive self-generation loop rather than defining an additional preservation function.

左列六种无记忆失败，右列五类保持功能及代表方法名，底栏 Rollout Reliability。用来讲“记忆要保什么”，不要读成作者新模型结构图。

学习与评测

学习与评测
Figure 1: The landscape of memory mechanisms in autoregressive video generation. The upper tree positions represen- tative methods along two core dimensions: representational carriers (Forms §3) and preservation goals (Functions §4). The bottom panels outline the operational lifecycle (Operations §5) and training paradigms (Learning §6).

总览图。上部是 Forms（Visual / Implicit / Explicit / Adaptive Parametric）× Functions（Identity→Causal）的文献树；下部 Mechanism 面板画 Write/Read/Update/Manage/Integrate 环，以及 Learning Objectives / State Distribution / Memory-Aware Learning。适合开篇说明“这是综述地图”。

实验如何设计？

  • 综述不报告作者训练的新模型主表。第 7 章整理评测层级：从间接画质到记忆揭示设定、目标指标，再到 paired-history 等归因控制。
  • 文中列举多类基准与评测资源名称，用于说明“测得到保留、还要证明用到了历史”，而不是给出本文统一重跑分数。
  • 阅读时应把各引用方法的原论文数字留在原处；本解读只转述分类与协议主张。

关键结果与论文证据

  • 统一洞察：有效记忆 ≠ 更大缓存。保留内容必须仍正确、可索引，并能改变后续生成；否则只是占资源的死状态。
  • Forms 与 Functions 正交：同一身份保持目标可以用视觉锚点、槽位、显式实体状态或参数模块实现；分类树（Fig.1）把代表性方法钉在载体×功能平面上。
  • 无记忆失败不是单一“糊掉”，而是可分的六类症状；对应五功能加 rollout 可靠性，便于对照某篇方法到底在修哪一类。
  • 开放问题（§8）包括可组合与资源感知记忆、可信更新、self-rollout 学习、交互因果记忆，以及可比较的记忆评测协议；Fig.10 用路线图概括这些方向。
  • 因此本文价值在地图与词汇表，不在某一条新的 VBench 分数。

阅读时需要注意

  • 没有作者自研系统的端到端新结果，无法用一篇“方法论文”的标准要求刷榜数字。
  • 方法归类存在边界与多重标签；树图位置是综述视角。
  • 评测标准仍在形成中，文中也承认 delayed-action、paired-history 等控制尚未成为统一度量。
  • 领域迭代快，仓库与综述快照都会过时。

关联工作

  • 长视频与世界模型文献大量出现 cache、SSM、检索与实体状态等零件；本综述把它们收束到同一记忆定义下。
  • 身份线工作（StreamingT2V、VideoMemory、Anchor Forcing 等）与空间线（WorldMem、PERSIST、ViewRope 等）在 Fig.4 被明确拆开，避免“加了记忆”一句话糊弄。
  • 因果与交互方向（VRAG、ActionParty、WorldCraft 等）提示：记忆还要记录干预后的世界状态，而不仅是外观一致性。

发表评论