前作瓶颈

FloodDiffusion 2：高效且路径可控的流式动作生成

作者

快速导读：FD2 在 FloodDiffusion 流式扩散上引入 Partial Attention、几何一致二次损失与根轨迹条件，同时提速并精确控路径。

流式文本驱动动作生成要在变化提示下增量出动作；交互角色还常要求沿指定路线切换走跑蹲跳，同时保持自然身体运动。FloodDiffusion（FD1）用帧交错扩散做到流式，但全历史双向注意力拖垮效率，且纯文本难精确控方向。

FloodDiffusion 2（arXiv:2609.33167 ，东京大学等）保留 FD1 日程，引入 Partial Attention、与扩散条件均值兼容的 FK 诱导二次损失，以及根轨迹路径条件。代码见 https://github.com/caiyy17/FloodDiffusion2 。

英文题目：FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation

论文出处：arXiv 每日论文精选 · arXiv:2609.33167

原始论文：PDF / 论文页面

这篇论文解决什么问题？

如图 1：角色需沿蓝色目标轨迹从走到跑再到蹲走，红线为生成质心轨迹；若只能用文本说“向前走”，很难精确规定弯道与速度剖面。

FD1 的双向注意力让已定稿历史表示仍依赖正在变化的活跃窗，历史键值无法稳定缓存，训练时也要对重叠历史重复计算。

直接加非线性正运动学损失虽能惩罚手脚位置误差，却可能把回归最优从扩散所需的条件均值速度场推偏，因此需要“几何可感”又“均值一致”的监督。

核心创新

  • Partial Attention：历史与活跃窗解耦，启用 KV 缓存与共享历史训练。
  • Bregman 判据引导的 FK 诱导二次损失，融入几何监督且保持条件均值。
  • 精确根路径条件：沿指定轨迹切换动作语义并保留自然步态。
  • 训练算力约降 4.6×，长历史去噪加速约 11.29×，流式 FID 刷新。

方法概览

FD2 保留 FD1 日程与采样器，改用 Partial Attention：历史查询只读因果前缀，活跃查询读完整历史并在窗内双向交互，从而支持 KV 缓存推理与共享历史打包训练。再给出保持扩散条件均值速度场的必要充分 Bregman 判据，据此构造数据集平均运动学响应的 FK 诱导二次损失，无需在线 FK。最后加入与文本对齐的根路径条件，分离指挥轨迹与身体关节运动。代码：https://github.com/caiyy17/FloodDiffusion2 。

  • Partial Attention：历史查询只读因果前缀，活跃查询读完整历史并在窗内双向；新定稿帧经因果重编码后追加 KV，推理可标准缓存。
  • 共享历史打包：一个干净参考编码服务多个隔离噪声活跃窗，减少重复历史计算；实验中 K=8 把训练去噪 FLOPs 降到约四分之一以下。
  • Bregman 判据：在正则条件下，保持条件均值的回归损失恰为目标优先的 Bregman 散度（可加仅依赖目标的项）；据此用数据集平均运动学响应构造固定正定度量上的 FK 诱导二次损失，避免在线 FK。
  • 路径条件：提供与帧对齐的根轨迹（质心地面投影）及相对骨盆平移旋转，文本负责动作语义，根通道采样时固定，从而分离路线与姿态。

逐图理解论文

前作瓶颈

前作瓶颈
Figure 1: FloodDiffusion 2 generates continuous human motion from time-varying text prompts while following a specified path. The character transitions smoothly from walking to running and then crouched walking. Blue and red curves denote the target and generated center-of-mass trajec- tories, respectively; numbers indicate the generated planar speed in m/s.

图1展示变文本提示下沿指定路径连续生成：蓝/红为命令与生成质心轨迹，数字为平面速度，动作从走到跑再到蹲走平滑切换。适合开篇。

部分注意力

部分注意力
Figure 3: Partial Attention enables KV caching and shared-history training. (a) History queries read their causal prefixes, while active queries read the complete history and interact bidirectionally within the active window. (b) Newly finalized frames are re-encoded causally before their keys and values are appended to the cache. (c) Isolated noisy windows share one causal clean reference, reducing repeated history computation.

图3解释 Partial Attention：阻断历史对活跃窗的反向依赖，从而支持 KV 缓存更新与共享历史打包。宜作方法特色图。

Figure 5: Prompt switching along a commanded path

Figure 5: Prompt switching along a commanded path
Figure 5: Prompt switching along a commanded path. Body colors indicate the active prompt. Blue is the commanded center-of-mass path, red the generated center-of-mass track; numbers show planar speed in m/s. The examples include repeated jumping and backward walking.

图5给出路径上的提示切换：跳跃、后退行走等动作切换时，生成轨迹仍贴合命令路径，是可控性的直观证据。

实验如何设计？

  • HumanML3D：标准划分与评估器；报告 R@3、FID、MM-Dist、Diversiy，以及路径设定下 Root/3D/Skate。
  • SEED：Kimodo 训练划分与 Content Overview；R@3/FID 用 TMR-SOMA-RP-v1，Skate 为接触期脚速。
  • 效率：H200 多窗训练 TFLOPs/显存；RTX 4090 上 0–4500 历史帧的缓存延迟。
  • 对照含 FD1、MotionStreamer、PRIMAL、DART、ARDY、Kimodo 及若干强离线模型。

关键结果与论文证据

  • 注意力：Partial 与 Full 的 FID 接近（0.058 vs 0.057），R@3/MM-Dist 更好；纯因果 FID 差到 0.096（页7，表1）。
  • 训练：K=8、512 windows/step 时 TFLOPs 从 90.666 降到 19.846（约 4.6×），GPU 从 4 张降到 1 张（页7，表2）。
  • 推理：4500 历史帧时骨干更新 26.002→2.303 ms（11.29×），GFLOPs 亦大幅下降（页8，表3）。
  • HumanML3D：FD2 FID 0.053 优于 FD1 的 0.057；FD2-Path 在对照流式路径方法中 R@3/FID/MM-Dist/3D 领先（页8，表4）。
  • SEED：文本-only FID 0.048；路径版 Mean/P95 位置误差 0.11/0.32 cm，明显低于 ARDY 的 1.60/3.91（页9，表5）。

阅读时需要注意

  • 历史一旦定稿，其中误差会继续影响后续；超长外推仍难。
  • 缓存与注意力成本随历史近似线性增长。
  • 固定平均 FK 二次式与训练数据覆盖限制了稀有动作与陌生组合的多样性。

关联工作

  • FloodDiffusion、MotionStreamer、PRIMAL、DART、ARDY 构成流式/可控动作对照谱系。
  • MoMask、ReMoDiffuse 等强离线模型提供质量上限参照。
  • SEED 与 Kimodo 提供大规模日常具身动作评测生态。

发表评论