视觉对比自蒸馏:无需外部监督的自蒸馏新范式

VCSD 的核心洞察

多模态大模型自蒸馏面临目标信息量不足的难题。VCSD 通过对比原始图像与内容擦除控制图像下的教师预测分布,构建无需外部监督的自蒸馏目标。实验表明,该方法在多个基准测试中显著提升模型性能,且无需额外推理成本。注意:该方法需要生成擦除控制图像下的响应,训练成本增加。