Predict-then-Explain

本文提出了vCT和vCCT两种反事实评估指标，通过移除图像中的特定对象来测试VLM的解释是否忠实于其预测变化，发现Predict-then-Explain (PE) 策略比Chain-of-Thought (CoT) 更忠实于视觉证据。