DiTango：利用注意力空间局部性的低成本并行扩散生成
本文介绍DiTango，一种针对分布式DiT推理的低成本并行生成方法。针对现有Context Parallelism在多节点扩展时的通信瓶颈，DiTango利用注意力贡献的空间局部性，提出基于Attention State的可组合复用机制。通过Anchor-guided Selection Planner预测复用误差，结合State-centric Parallel Runtime优化通信与计算重叠。实验显示，在32 GPU上，Wan-14B模型获得1.9倍端到端加速，同时保持高质量生成。