模型量化

DiT模型的W4A4 PTQ因激活Outliers导致质量下降，且AdaLN层使传统离线吸收技巧失效。KroQuant提出一种基于Kronecker积的可学习块对角激活变换，结合LoRaQ权重校正，在保持推理速度的同时显著提升图像质量。实验表明，该方法在PixArt-Σ、SANA和FLUX.1-schnell上均优于基线。需注意，该方法依赖支持MXFP4格式的硬件，且在线变换增加了计算开销。