FVAttn：解决视频生成稀疏注意力负载不均的运行时负载均衡方案
本文介绍 FVAttn，一种用于视频生成的自适应稀疏注意力系统。针对 Top-p 路由在多 GPU 序列并行中导致的负载不均问题，FVAttn 提出运行时负载均衡与松弛感知稀疏增强机制。实验显示，在 Wan2.2 I2V 上相比 FlashAttention 实现 4.41x 注意力加速。需注意该方法对长序列和硬件通信带宽敏感。
稀疏注意力
本文介绍 FVAttn，一种用于视频生成的自适应稀疏注意力系统。针对 Top-p 路由在多 GPU 序列并行中导致的负载不均问题，FVAttn 提出运行时负载均衡与松弛感知稀疏增强机制。实验显示，在 Wan2.2 I2V 上相比 FlashAttention 实现 4.41x 注意力加速。需注意该方法对长序列和硬件通信带宽敏感。