扩散Transformer的隐藏瓶颈:块间表示多样性如何决定生成质量
提出Weighted Diversity Score (WDS)量化DiT块间表示多样性,并基于此设计DiverseDiT++框架,通过长残差连接和表示多样性损失提升生成质量。
提出Weighted Diversity Score (WDS)量化DiT块间表示多样性,并基于此设计DiverseDiT++框架,通过长残差连接和表示多样性损失提升生成质量。
提出U-Net扩散Transformer (UDT),通过数据自适应token合并实现无参数下/上采样,在保持token特征维度的同时显著加速训练收敛并提升生成性能。