流模型OPD为何失效?FLOWCTS揭示时序监督错配与连续轨迹解法
本文分析FLOWCTS论文,指出传统基于KL散度的在线蒸馏(OPD)在流模型中存在时序监督错配:损失集中在去噪后期,忽略了早期关键的速度场差异。FLOWCTS通过连续轨迹监督重新定义目标,在GenEval和OCR上取得更好结果。注意:监督步数K并非越大越好,需权衡结构一致性与细节保留。
本文分析FLOWCTS论文,指出传统基于KL散度的在线蒸馏(OPD)在流模型中存在时序监督错配:损失集中在去噪后期,忽略了早期关键的速度场差异。FLOWCTS通过连续轨迹监督重新定义目标,在GenEval和OCR上取得更好结果。注意:监督步数K并非越大越好,需权衡结构一致性与细节保留。