SQuad:用两次真实 softmax 注意力,把视频 DiT 的二次复杂度压到亚二次
SQuad 将视频 DiT 中的全 softmax 自注意力分解为局部窗口内与跨窗口全局两次 softmax 注意力,以 O(n√n) 复杂度蒸馏预训练模型,在 Wan 2.2 5B 上以 6 NFE 匹配原模型 VBench 质量并大幅降低计算成本。
SQuad 将视频 DiT 中的全 softmax 自注意力分解为局部窗口内与跨窗口全局两次 softmax 注意力,以 O(n√n) 复杂度蒸馏预训练模型,在 Wan 2.2 5B 上以 6 NFE 匹配原模型 VBench 质量并大幅降低计算成本。