RP-OPSD:如何用分辨率差异免费提升多模态大模型性能?

核心贡献:分辨率特权自蒸馏

多模态大模型在低分辨率下性能骤降,传统蒸馏方法成本高且存在分布偏移。本文提出RP-OPSD,利用同一图像的高/低分辨率视图构建教师-学生差距,通过在线自蒸馏提升细粒度视觉能力。实验显示该方法在Qwen3.5系列上显著提升性能,并实现1.78倍训练加速。注意:加速仅指训练阶段,且对非细粒度任务提升有限。