SANA-Video 2.0:混合线性注意力实现单卡高效长视频生成
本文分析 SANA-Video 2.0 如何解决全 3D Softmax 视频 DiT 的 O(N^2) 计算瓶颈。方法核心为混合线性-Softmax 注意力(25% 锚点)与 Block AttnRes 机制。实验显示,该模型在 VBench 上取得 84.30 分,720p/5s 延迟仅 13.06 秒,比 Wan 2.2 快 120 倍。需注意当前算子为双向,且长视频训练课程仍在完善中。
本文分析 SANA-Video 2.0 如何解决全 3D Softmax 视频 DiT 的 O(N^2) 计算瓶颈。方法核心为混合线性-Softmax 注意力(25% 锚点)与 Block AttnRes 机制。实验显示,该模型在 VBench 上取得 84.30 分,720p/5s 延迟仅 13.06 秒,比 Wan 2.2 快 120 倍。需注意当前算子为双向,且长视频训练课程仍在完善中。