分轨架构

FlashBack：流式视觉语言模型该何时调用历史记忆

作者

快速导读：FlashBack 在冻结流式视觉语言模型上先判断查询是否需要历史，再经隔离 Side-KV 按需召回，兼顾实时感知与长程记忆。

流式视觉语言模型必须在有界算力下持续处理越来越长的视频：既要跟上当前画面，又要能回答更早发生过的事。只保留近窗，当下问题好答、过去细节会丢；把全部历史无条件塞进上下文，又能找回杯子放在哪，却可能把“手里拿的是什么”答偏。FlashBack（arXiv:2610.01192，Rightly Robotics / A4X）认为，流式记忆不只是存什么、取什么，还要先决定何时让历史参与答题。

方法完全训练无关，叠在冻结的 StreamingVLM 与 Mage-VL-4B 上。查询到来时，时序证据路由器先判断走 Native 原生轨迹还是 Recall 召回轨迹；只有后者才把近期上下文与检索到的长期记忆送进查询局部 Side-KV，答完丢弃、不写回持久流式状态。OVO-Bench 与 StreamingBench 上，若干长程与记忆依赖任务上升，实时感知大体保住，并与部分训练型流式方法接近。正文写代码将稍后公布。

英文题目：FlashBack: Knowing When to Remember in Streaming Vision-Language Models

论文出处：arXiv 每日论文精选 · arXiv:2610.01192

原始论文：PDF / 论文页面

这篇论文解决什么问题？

图1用厨房时间线把张力画清楚。t2 橙色框里人把红色杯子放进柜，那是历史证据；t5 蓝色框里人举起蓝色瓶子，那是当前证据；未来帧上锁不可用。问“人手里拿什么”应看当下，问“红杯子放哪了”必须回头。有界状态流式只能看到近窗，蓝瓶能对、红杯位置 Unknown；无条件召回虽能答 Cabinet，但当前问题可能被整段历史带偏。

相关工作一条线用滑窗或外围记忆给离线骨干补流式能力，另一条线让模型自己维持在线状态。记忆侧既有压缩与 KV 管理，也有检索、情节/事件记忆，以及多步 Agent 搜索。近年 OASIS、SAVEMem、StreamRAG、SelectStream、FOLIO 让“取多少历史”更有选择，但对已经支持原生流式推理的模型，检索之前还有一层：当前问题的时序证据需求，是否根本要求历史。FlashBack 把这层写成 Native 与 Recall 的轨迹选择，而不是在记忆增强路径内部再挑证据。

核心创新

  • 把记忆使用写成 Native 与 Recall 两条轨迹，先判断何时需要历史再检索。
  • 提出查询局部 Side-KV：召回证据只服务当前问题，答完丢弃、不污染后续流式状态。
  • 用近期上下文加因果长期记忆的多层 Recall，同时保住局部连续与远距证据。
  • 用表示平衡的两阶段语义路由，避免把“现在”等表面词直接当成是否召回的开关。

方法概览

FlashBack 完全训练无关，叠在冻结流式视觉语言模型上。它在线维护因果多层记忆库 Bt=(Ht,Lt)：Lt 是当前边界附近的骨干原生视觉状态，Ht 存放已完整观察的历史单元（内部视觉表示加时间区间），写库只用已见前缀、不用未来帧。查询到达时，时序证据路由器先用冻结模型做表示平衡的语义推断：第一阶段把查询分成 Current、Historical、Interaction、Aggregation、Predictive 五类，后三类走 Recall，Predictive 走 Native，Current 再细分为 Boundary/Ongoing（Native）与 Persistent/Outcome（Recall）。只有 Recall 才从 Ht 取 Top-K（默认 K=1）历史页，与 Lt 拼成查询局部 Side-KV，由同一冻结因果解码器作答；Side-KV 不写回持久 Native 状态。

  • 记忆库与 Native 轨迹并行、在线写成。时刻 t 只用已观察前缀 X≤t，Bt=(Ht,Lt)。Lt 是当前边界附近窗口 Wt 内的骨干原生视觉状态，用来保住查询附近的局部连续；Ht 存放已完整看完的历史单元 hi=(Ri,Δi)，Ri 是模型内部视觉表示与缓存信息而非文本摘要，Δi 记录时间区间。Lt 随边界滑动，完成的更早单元进入 Ht。
  • 时序证据路由器先做语义、再映射动作，且在访问 Ht 之前完成。冻结视觉语言模型推断五类需求：Current、Historical、Interaction、Aggregation、Predictive。后三类走 Recall，Predictive 走 Native；Current 不能只看“现在”二字，再细分为 Boundary/Ongoing（边界上仍可直接观察，走 Native）与 Persistent/Outcome（依赖更早观察，走 Recall）。为避免类别顺序和任意输出编码干扰，每一阶段用多组打乱后的等价提示，把对数概率映回同一语义空间再平均，而不是多数投票。第一阶段五个平衡视图，进入 Current 的查询再做四个视图的第二阶段。
  • 进入 Recall 后，检索被限制在近期窗口开始之前已完成的历史单元，先做问题条件的预过滤，再按模型内部 query–key 兼容性取 Top-K，默认 K=1。把选中的长期页与 Lt 拼成 Recall 上下文；若没有更早单元，仍走只用近期的 Recall 而不退回 Native。同一冻结因果解码器构造查询局部 Side-KV，不用额外融合网络。作者强调 No Write-back：若把为某一查询选出的历史写进持久缓存，后续观察会在检索条件化的注意力上下文里继续生成，一次 Recall 的副作用会沿 Native 轨迹传播。Side-KV 因此答完即弃。

逐图理解论文

两种失败

两种失败
Figure 1: Motivation for FlashBack.

图1是问题动机。顶栏 t0 到 t5 厨房序列：t2 橙色 Historical evidence 框住放杯，t5 蓝色 Current evidence 框住举瓶，未来上锁。中排 (a) Bounded-state Streaming 只看 Recent streaming chunk，蓝瓶对、红杯 Unknown；(b) Unconditional Memory Recall 把 All historical memory 送进模型，柜子能对，当前问题标 May be distracted。底排 (c) FlashBack 先经紫色 Temporal-evidence router：当下问题走 Present-focused Native 与 Main KV / Persistent streaming state，历史问题走 History-dependent Recall 与 Relevant historical memory、Side-KV state，两个答案都打勾。

分轨架构

分轨架构
Figure 2: Overview of FlashBack.

图2是架构总览，宜作特色图。顶栏输入视频流与查询时刻 t 的两个问题：橙色 q^R_t 问红杯放哪，蓝色 q^N_t 问手里拿什么。左列 Causal Multi-level Memory：冻结视觉编码器在线写入橙色 History Ht（h1…hm）与绿色 Recent Lt，底为 Native State S1…St。中列紫色 Temporal-evidence Router 把查询分到 NATIVE 或 RECALL；CURRENT 再细分，PREDICTIVE 带问号走 Native，HISTORICAL / INTERACTION / AGGREGATION 走 Recall。右列 Recall through Side-KV：蓝线 Native Path 经 StreamingVLM 输出 Blue bottle 并继续 St+1；橙框 Query-local Side-KV 组合 Top-K History 与 Recent Lt，红叉标注 No Write-back，Recall Path 输出 Cabinet。

关键证据

关键证据
Figure 3: Routing behavior and historical reach of FlashBack. Routing behavior and historical reach. Figure 3 summarizes the routing semantics and historical reach of FlashBack. Current queries may map to either trajectory after refinement, Predictive queries remain on the Native trajectory, and Historical, Interaction, and Aggregation requirements invoke Recall. The historical-reach profiles further show that Recall is not confined to the recent context: for both backbones, selected pages can originate more than 20 minutes before the query. Together, these views reflect the central design of FlashBack: history participates only when required by the query, while Recall provides access to long-range evidence beyond the bounded Native state.

该裁切上半是 Table 7：StreamingVLM+FlashBack 在 CR/CS/EU/CT/ACU 为 81.25/88.33/80.38/30.32/53.60，Mage-VL+FlashBack 为 71.88/90.22/81.01/46.28/67.20。下半才是图3。左为 Executed route：Mage-VL 在 OVO-Bench Native 61%、Recall 39%，StreamingBench Native 87%、Recall 13%；StreamingVLM 对应 52%/48% 与 63%/37%。色块含 Current(Native) 浅蓝、Predictive 深蓝、Current(Recall)、Historical、Interaction、Aggregation。右为 Historical reach，最远召回/查询视界：Mage-VL 24:13/29:45 与 16:02/18:07，StreamingVLM 21:39/28:15 与 12:54/18:07。

结论与局限

结论与局限
Figure 5: Representative FlashBack visualization cases on OVO-Bench.

图5是 OVO-Bench 可视化，裁切切掉左侧部分题干。上行 Action sequence #556，可见题干残字 about cutting potato into wedges；橙色 RETRIEVED PAGE 61 标 245.5–249.5 s，帧上人在碗中倾倒搅拌。粉色错误选项残句像把薯角下进热油，绿色 FlashBack (Recall) 选 B：pour beer into the flour mixture and stir。下行 Historical attribute #241，问车辆颜色，蓝色框住开头 0–4.0 s 车库里的蓝色轿车，FlashBack (Recall) 选 A：Blue。两条都是 Native 错过、Recall 找回更早页的成功例。

实验如何设计？

  • 实验用 4×80GB A100。FlashBack 在 StreamingVLM 与 Mage-VL-4B 上均不额外训练；消融主要在 StreamingVLM。有限答案任务沿用候选 logit 协议，减少自由生成格式波动。
  • 主基准是 OVO-Bench 与 StreamingBench。组件消融用 StreamingBench-MA（线索到场景对齐）和 OVO-Bench-CRR（证据是否已经累积够）。OVO-Bench 还按实时、回溯、前向分组，并单列 EPM、ASI、REC、CRR、HLD 等记忆相关任务；StreamingBench 看实时视觉理解、全源与上下文组，以及 CR、CS、EU、CT、ACU 等需要时间整合的任务。
  • 对照包括 VideoLLM-online、EventMemAgent、SelectStream、StreamReady 等训练方法，以及 StreamRAG、HERMES、SimpleStream、OASIS、SAVEMem、FOLIO 等训练无关方法。骨干与规模并不完全对齐，正文用组平均与任务级结果一起读。

关键结果与论文证据

  • 消融把“要不要历史”和“怎么接进推理”拆开。Table 1 中，无条件加 Recall 让 CRR 从 Native 的 41.67 升到 60.83，MA 只从 69.60 到 70.40；直接预测答题分支的二分类路由把 CRR 打回 41.67。结构化路由保住 CRR 的 60.83，并把 MA 提到 72.80。Table 2 显示加一页长期历史即可把 CRR 从仅近期的 55.42 提到 60.83，K=3 不再涨，K=5 时 MA 略降，故默认 K=1。Table 3 关闭路由、对每个查询都接同一历史页：Random/Zero KV 崩溃，Historical KV 到 64.40/45.83，Side-KV 再到 70.40/60.83，说明同等历史下接口本身也改成绩（页6–7）。
  • OVO-Bench 组平均上，FlashBack 最清楚的提升在前向推理：StreamingVLM 34.59→41.22，Mage-VL 45.17→51.94；实时平均与 Native 接近，分别为 70.85 对 71.66、81.20 对 81.78。任务级上 CRR 与 REC 更稳：CRR 两条骨干都升，Mage-VL 的 REC 从 19.48 到 29.80；EPM、ASI 则随骨干变化。HLD 要求拒绝视频未支持的问题，两条骨干都下降，StreamingVLM 从 27.96 到 23.12，说明相关历史不足以构成有效前提（页7）。
  • StreamingBench 上实时平均小幅上升（78.82→79.22、81.63→82.59）。因果 CR 与计数 CT 两条骨干都升，事件理解增益主要在 Mage-VL；剪辑摘要与异常上下文理解持平或改善。Mage-VL 的上下文组平均从 62.13 降到 61.07，提醒有的上下文题需要压掉过时历史而不是召回。图3显示 Recall 并非默认：Mage-VL 在 OVO-Bench 上 Native 61%、Recall 39%，StreamingBench 上 Recall 仅 13%；StreamingVLM 更常召回。最远选中页可早于查询二十分钟以上。图5里，切土豆前的动作被召回到约 246–249 秒的和面倾倒，车库里蓝色车辆的颜色则来自开头数秒（页8–9）。

阅读时需要注意

  • FlashBack 训练无关，路由器与检索器都没有针对下游流式任务做显式优化，表示平衡推断仍依赖冻结模型的语义偏好。
  • 记忆收益随查询类型变化：长程证据任务受益，HLD 这类需拒绝无根据前提的幻觉敏感任务、以及要把当前状态与过时历史分开的上下文过滤任务可能被干扰。
  • 效率上相对 Native 增加处理时间，正文称在 1 与 2 FPS 输入下两条骨干仍快于视频到达，但端侧或更高帧率未在主文展开。代码制作时尚未公开。

关联工作

  • StreamingVLM 与 Mage-VL 代表“模型内部维持在线状态”的原生流式路线；FlashBack 不改骨干参数，只改记忆何时进入。
  • OASIS、SAVEMem、StreamRAG 调节检索范围与时间敏感性，SelectStream 学习写/留/取，FOLIO 用结构化语义记忆做训练无关装配。FlashBack 补的是更早一层：先决定要不要进入记忆增强路径。
  • Agent 式多步搜记忆与工具取证把访问做成主动过程；FlashBack 仍是单次路由加隔离前向，强调不让一次查询的召回改写后续 Native 状态。

发表评论