ReaDiT:单块 DiT 特征如何实现轻量级图像与视频生成控制

论文代表图:figure-01-p004-01

本文提出了 ReaDiT,一种轻量级框架,通过提取冻结 DiT 模型中单个 Transformer 块的特征来预测空间目标(如深度、姿态、边缘)或光流,并在推理时通过优化潜变量引导图像和视频生成,无需修改基础模型即可实现统一的空间与运动控制。

KroQuant:用Kronecker结构破解DiT W4A4量化难题

直觉与失败

DiT模型的W4A4 PTQ因激活Outliers导致质量下降,且AdaLN层使传统离线吸收技巧失效。KroQuant提出一种基于Kronecker积的可学习块对角激活变换,结合LoRaQ权重校正,在保持推理速度的同时显著提升图像质量。实验表明,该方法在PixArt-Σ、SANA和FLUX.1-schnell上均优于基线。需注意,该方法依赖支持MXFP4格式的硬件,且在线变换增加了计算开销。

AppearancePointers:DiT多模态区域控制新范式

核心方法

本文介绍AppearancePointers,一种用于扩散变换器(DiT)的多模态区域控制方法。通过生成紧凑的指针令牌,该方法在单次去噪步骤中实现文本、图像和空间掩码的精确对齐。实验显示其在CLIP-I、DINO-I和MIoU指标上优于MS-Diffusion和InsertAnything等基线。需注意,区域数量过多时性能会下降。

DiTango:利用注意力空间局部性的低成本并行扩散生成

方法概览:选择性状态复用

本文介绍DiTango,一种针对分布式DiT推理的低成本并行生成方法。针对现有Context Parallelism在多节点扩展时的通信瓶颈,DiTango利用注意力贡献的空间局部性,提出基于Attention State的可组合复用机制。通过Anchor-guided Selection Planner预测复用误差,结合State-centric Parallel Runtime优化通信与计算重叠。实验显示,在32 GPU上,Wan-14B模型获得1.9倍端到端加速,同时保持高质量生成。