扩散Transformer的重要性感知低秩蒸馏
本文提出SVDtrunc，通过重要性感知的截断SVD压缩投影矩阵并结合模块化知识蒸馏，在保持Diffusion Transformer架构不变的前提下实现高效参数压缩，显著优于现有剪枝方法。
DiTs
扩散Transformer的隐藏瓶颈：块间表示多样性如何决定生成质量
提出Weighted Diversity Score (WDS)量化DiT块间表示多样性，并基于此设计DiverseDiT++框架，通过长残差连接和表示多样性损失提升生成质量。
UDT：用数据自适应Token缩减统一U-Net与扩散Transformer
提出U-Net扩散Transformer (UDT)，通过数据自适应token合并实现无参数下/上采样，在保持token特征维度的同时显著加速训练收敛并提升生成性能。