当文字说谎:SIGNPOST-Bench 如何揭示多模态模型的视觉-文本冲突困境

反事实五元组与 MCRS 评分

此前的文本-视觉冲突研究,要么用离散的分类正确率做判断,要么只比较文字有无的二元情况。SIGNPOST-Bench 的关键突破在于,它把冲突仲裁放到了一个连续的输出空间里——地理坐标。这让研究者第一次可以测量模型预测被对抗文字“牵引”了多远、偏向了哪个方向,而不仅仅是答对还是答错。