TASQ:扩散模型量化为什么不该所有步骤用同一种精度?
TASQ的关键洞察是:存储精度和运行精度可以解耦。它始终保存一份完整的8比特权重,但通过一个可学习的Temporal-Spatial LSB Mask,在每个去噪阶段和每一层动态决定实际使用几个低位。噪声大的阶段保留更多比特,噪声小的阶段大胆丢弃低位。这样既不用存多份权重,又能让计算量跟随实际需求变化。
TASQ的关键洞察是:存储精度和运行精度可以解耦。它始终保存一份完整的8比特权重,但通过一个可学习的Temporal-Spatial LSB Mask,在每个去噪阶段和每一层动态决定实际使用几个低位。噪声大的阶段保留更多比特,噪声小的阶段大胆丢弃低位。这样既不用存多份权重,又能让计算量跟随实际需求变化。