问两次，看两次：提示回音解决视觉语言模型中的“问题优先”悖论

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

两次提问，两次观察：提示回音解决视觉-语言模型中的问题优先悖论

Rakshanda Hassan Abhinandan1, John Galeotti1, Deva Ramanan1, 和 Gautam Rajendrakumar Gare1

美国卡内基梅隆大学

摘要。在视觉-语言模型（VLM）的提示中，问题应该放在哪里：图像之前还是之后？直觉告诉我们放在前面：知道被问什么应该能告诉模型该看哪里。然而，在视觉问答基准测试中，问题优先的提示策略始终表现不佳，低于前沿 VLM 推荐的图像优先顺序，我们将这种现象称为问题优先悖论。我们将该悖论归因于 VLM 计算中两个阶段之间的冲突。Logit Lens 和注意力探针显示，直觉只对了一半：放在图像前面的问题确实能引导感知，将图像块表示推向与问题相关的概念。失败发生在下游。在图像后面被数百个图像令牌所淹没的答案令牌，几乎不关注问题（通常是错误的答案）；因果注意力阻断证实，只有当问题位于图像之后时，答案才会读取问题。更好的感知被更差的访问所浪费。这一诊断产生了一种无需训练的修复方法：问题回音，即在图像两侧重申问题，以便一个副本引导感知，而另一个副本在回答时被读取。这种分工也出现在一项关于人类“附属问题”的五十年前的发现中，即在段落前后重复问题比单独在任何一侧重复更能促进理解。同时回显图像也能带来进一步的收益，恢复了因果解码器通常会丢失的完整图像视图。该悖论存在于五个开源 VLM 中，导致组准确率最高下降 17.5 个百分点。回显提示解决了这一问题，并在 NaturalBench、POPE、Winoground 和开放式 VQAv2 上超越了最佳单次通过顺序，Winoground 组准确率最高提升 19 个百分点，无需训练、微调或架构更改。该悖论暴露了多模态提示中引导模型所见内容与保留对其被问内容的访问权限之间的张力；仅通过提示设计即可解决这一张力。

关键词：视觉-语言模型 · 提示顺序 · 视觉引导 · Logit Lens · 可解释性 arXiv:2607.15565v1 1 引言

每个 VLM 提示都做出了一个无声的决定：问题要么在图像之前，要么在图像之后。现代视觉-语言模型消费单个交错的

第 2 页

2 Abhinandan 等人

STI 系统 ? A 引导 ✓ 读出 ✗ 问题优先

SIT 系统 ? A 引导 ✗ 读出 ✓ 问题最后 回音 Q STIT 系统 ? ? A 引导 ✓ 读出 ✓ 本文方法 回音 I + Q SITIT 系统 ? ? A 引导 ✓ 读出 ✓ +全图 本文方法，最佳

图 1：问题的位置而非问题的存在决定了答案。视觉-语言模型（VLM）将系统（Sys）、图像（ ）和问题（ ?）标记视为一个流，并从最终答案位置（A）生成。每一行都标记了提示必须满足的两个机制：问题是否引导图像编码的内容，以及问题是否在答案处被读出。问题优先（STI）虽然能引导，但未被读出：它将问题置于长图像跨度之前，导致答案几乎不关注它，并过早地commit到一个以图像为锚点、通常错误的响应。问题最后（SIT）被读出但不能引导，恢复了大部分性能损失。无需训练的“问题回音”（STIT）在图像两侧重复问题，在保持引导作用的同时恢复了问题-答案的相邻性；与其一起重新呈现图像（SITIT）还赋予了因果解码器全图视野，从而获得了最佳准确率。

系统、图像和任务标记的序列，因此顺序是一个自由的设计选择，而目前它由经验法则决定。大多数模型卡片推荐图像优先 [1,2]，而其他提示实践则各不相同。一个自然的假设借用了人们检查场景的方式 [6]，认为经验法则弄反了：问题应该放在前面，因为知道被问什么的模型可以决定看哪里以及编码什么。

该假设失败了，而且是以一种具有启发性的方式失败。考虑两种保持内容固定仅移动问题的顺序：STI（系统、任务、图像）将问题置于图像之前，SIT（系统、图像、任务）将其置于之后。在 NaturalBench 上使用 Qwen3-VL-8B，问题优先比问题最后低 8.1 个组准确率点（0.270 对比 0.351）。同样的差距出现在 POPE 和 Winoground 以及另外三个 VLM 家族（Qwen2.5-VL, InternVL3, LLaVA）上，达到 17.5 个点；仅在 Gemma-3-27B 上有所减弱。我们将此称为问题优先悖论：本应指导感知的顺序却是造成伤害的那个（图 1）。

本文打开模型以解释这一悖论，然后将解释转化为修复方案。解决方案在于提示设计混淆的两个计算阶段之间的解耦。使用 logit lens [3] 和逐层探针，我们表明问题优先提示确实能引导感知：图像块解码为更多与问题相关的概念，且答案位置更强烈地关注图像。这种引导是真实的，但被浪费了。问题被置于数百个图像标记之前，解码器对其读取不足，答案位置过早地 commit 到一个以图像为锚点、通常错误的标记，在此之前

第 3 页

问两次，看两次：VLM 中的回音效应 3

问：“人们是否站在一个大水池中？”（真实标签：是） SIT（问题在后） STI（问题在前） STIT（ ours） 输入 box = zoom →“是” ✓ →“否” ✗ →“是” ✓

图 2：发生了引导，但未被读出。对图像补丁的 Logit Lens： 每个单元格显示该补丁的最后一层隐藏状态解码到的词汇表 token，颜色根据右侧 viridis 标度上该 token 的概率着色（深蓝色 0 到黄色 1），叠加在图像上。输入上的红色方框标记了放大区域。对于问题“人们是否站在一个大水池中？”（真实标签 是），问题在后（SIT）使补丁保持通用（背景、衣服、短），并正确回答；而问题在前（STI）将相同的补丁引导至问题中的水场景（滴水、玩耍、群体），但回答错误：发生了引导，但无助于正确回答。第三个面板预览了我们的修复方法（回音，STIT；第 5 节）：同样的问题在前引导，现在得到了正确回答。

一旦问题表示到达它。更好的感知被更差的访问所浪费。 一旦这样表述，修复方法便不言自明。问题回音（STIT）在图像之前和之后各陈述一次问题：第一份副本进行引导，第二份恢复问题-答案的相邻性。图像回音（SITIT）在重复问题的同时重新呈现图像；在因果掩码下，第二份副本的每个补丁都关注整个第一份副本，恢复了视觉编码器计算但因果解码器丢弃的双向全图读取。 两者都是纯粹的提示编辑：无需微调，无需更改解码，无需更改架构。 令人惊讶的是，这种修复方法在人类学习者中有五十年的历史先例。在教育心理学的附属问题文献中，在散文段落前后重复相同的问题比单独在任何位置重复更能促进理解：前问题引导注意力，后问题在测试时巩固记忆 [5, 7]。这是我们的探针在模型内部揭示的分工，表明回音的双机制结构是顺序理解的普遍属性，而非单一架构的产物。 贡献。我们做出了四项贡献。首先，我们确立了问题优先悖论：在内容固定的情况下，将问题置于图像之前会降低三个基准和五个开源 VLM 的准确率，这与它应该有帮助的直觉相悖（第 3 节）。其次，我们对其进行了诊断，表明问题在前提示确实引导了感知，但未被读出，并通过因果注意力阻断确认，只有当问题位于图像之后时，答案才从问题中计算得出；感知引导和解码器访问是可分离的，悖论完全存在于访问中（第 4 节）。第三，我们将诊断转化为无需训练的修复方法，即问题回音，它在图像之后重新陈述问题以恢复读取，同时保留引导，

第 4 页

4 Abhinandan 等人

以及一种图像回音变体，该变体在因果掩码下恢复了对整幅图像的读取（第 5 节和第 5.2 节）。最后，我们对设计进行了消融实验，排除了“更多图像 token”和“更多预答案计算”的影响，并将问题相邻性和分布内图像优先配对隔离为活跃因素（第 7 节）。 实践层面的启示：一行重复的问题可以弥合问题优先的差距，而一对重复的（图像，问题）则优于最佳的单次通过排序。科学层面的启示：视觉引导和答案读取是两种具有不同位置偏好的独立机制，提示设计必须同时服务于这两者。提示排序可以成为一种经过测量、基于机制的科学，而非仅凭经验；本文即是通过案例研究使其成为一门科学的尝试。我们的代码和项目网站包含在补充材料中。

2 相关工作

VLM 中的提示排序。指令微调的 VLM，如 LLaVA [13]、Qwen2.5-VL [4] 和 Gemma 3 [18]，将图像和文本展平为单个 token 流，由因果解码器消费，因此视觉 token 和问题之间的相对位置是一个不可避免的设计选择。它很少被视为一个独立的变量：顺序敏感性研究侧重于上下文演示 [17]，或将图像优先与文本优先的准确率报告为未加解释的消融实验 [9]，模型卡片推荐图像优先但未说明原因；此前没有工作确立问题优先为何有害。我们将提示排序视为一等公民，从机制上表征其失败原因，并从诊断中推导出修复方案。

问题重复与重读。在纯文本 LLM 中，重新呈现查询的效果喜忧参半：重读提示可改善推理 [20]，重复的问题 token 会吸引更多注意力 [8]，且当查询距离答案位置较远时，提示重复的效果最为显著 [10]，然而受控研究也发现这些增益并不显著 [16]。这些工作既未涉及视觉，也未解释重复在何时能带来帮助。在 VLM 中，较长的图像跨度使得查询-答案距离成为结构性而非偶然性的因素；我们将解码器对远处问题的欠读取识别为机制，并表明回音策略在纯文本文献尚存争议的领域能带来巨大且一致的增益。图像回音没有纯文本的对应物。我们记录的失败与“迷失在中间”[14] 有关，其中仅解码器模型对远离查询的上下文使用不足，但有一个纯文本设置所缺乏的转折：远处的问题仍能成功引导感知，而失败仅出现在答案生成阶段。

VLM 表示的解读。Logit Lens [3] 通过输出嵌入投影中间隐藏状态，以读取每层所代表的含义；应用于 VLM 时，它表明视觉 token 逐渐与可解释词汇对齐 [15]。我们在此基础上构建，但提出了不同的问题：不是视觉 token 编码了什么，而是提示排序如何改变它们编码的内容，以及解码器是否读取了这些内容。

第 5 页

两次提问，两次观察：VLM 中的回音效应 5

3 问题优先悖论

3.1 符号与设置

提示词包含三个部分：系统消息（S）、图像（I，展开为多个视觉 token）以及任务或问题（T）。我们将顺序写为 token 顺序中的部分字母序列；生成在最后一个字母之后开始。系统消息是一个固定的前缀，默认情况下会前置（附录 H 为此选择提供了理由）。两个单问题顺序保持内容固定，仅移动问题位置：

$$ \begin{aligned} \text{STI} &= \text{System}, \text{Task}, \text{Image} && \text{(问题优先)}, \\ \text{SIT} &= \text{System}, \text{Image}, \text{Task} && \text{(问题滞后)}. \end{aligned} \quad (2) $$

它们是变位词。STI 将问题与答案位置通过整个图像跨度分隔开；SIT 将其置于答案之前紧邻位置。

所有顺序均由一个跨模型共享的感知顺序的输入构建器生成，因此变体仅在相同内容的排列上有所不同。我们在 NaturalBench [11]、POPE [12] 和 Winoground [19]（第 2 节）上进行评估，采用贪婪解码、16 个 token 的答案预算以及固定的系统提示词（附录 A）。Qwen3-VL-8B（主要模型，包含所有消融实验）和 Gemma-3-27B 承载完整分析；另外三个家族（Qwen2.5-VL、InternVL3、LLaVA-1.5）用于测试通用性。我们关注最具挑战性的指标，即 NaturalBench 和 Winoground 上的组准确率，因为单个错误配对会将其归零，且语言先验在此无益。对于相邻顺序，我们报告基于每组正确性的配对显著性检验（双侧精确 McNemar 检验；配对自助法 95% 置信区间，5,000 次重采样）。

3.2 现象

表 1 隔离了该悖论：保持内容固定，仅移动问题位置，结果发现问题优先导致性能下降。在我们的主要模型上，NaturalBench 上的组准确率差距为 8.1 个百分点，而在组合性更强的 Winoground 上差距更大，所有结果均具有高度显著性且无需额外成本，因为 token 数量相同（附录 B 中的逐对比较测试）。该效应并非某一模型的怪癖。它在五款 VLM 中的四款以及所有三个基准上均复现，且在较弱的模型上效应最大，在这些模型中，问题优先可能导致模型退化为输出单一恒定答案（表 1）。唯一的例外是 Gemma-3-27B，其中两种顺序在统计上无显著差异；即便如此，第 6 节提出的补救措施仍然有效，因此具有普遍意义的并非缺陷本身，而是其解决方案。

如果首先看到问题有助于视觉编码，为何反而有害？人们会想到两类解释，但两者均被证明是错误的：也许引导作用根本未发生（无论 preceding 内容如何，图像 token 的编码方式相同），或者也许引导作用发生了且有害（问题条件编码丢弃了答案所需证据）。第 4 节排除了这两种情况。引导作用确实发生，它是良性的，但被丢弃了。

第 6 页

6 Abhinandan 等人

表 1：问题优先悖论，跨架构表现。内容相同；仅问题位置移动。问题优先（STI）与问题最后（SIT）在 NaturalBench 组准确率上的对比，以及每个基准上的悖论差距 $\Delta = \text{SIT} – \text{STI}$（正 $\Delta$ 表示问题优先表现更差）；粗体标记每个模型的最大差距。每个差距的配对显著性结果见表 6。该悖论在四个模型上显著且一致，仅在 Gemma 上减弱。所有三个基准在新增模型上均显示出相同的悖论。在 LLaVA-1.5 上最为剧烈，其中问题优先在每个基准上都坍缩为恒定的“是”（NaturalBench 组 0.000，POPE 准确率 0.500，Winoground 组 0.000），而问题最后修复了这一问题（POPE 0.871），这是任何模型中最大的 POPE 差距（+0.371）。Qwen2.5-VL 和 InternVL3 的差距（POPE 高达 +0.057，Winoground 高达 +0.210）也超过了两个主要模型。

NatBench 准确率 悖论差距 $\Delta = \text{SIT} – \text{STI}$ 模型 STI SIT NatBench POPE Wino

Qwen3-VL-8B 0.270 0.351 +0.081 +0.021 +0.095 Qwen2.5-VL-7B 0.102 0.277 +0.175 +0.057 +0.185 InternVL3-8B 0.276 0.355 +0.079 +0.053 +0.210 LLaVA-1.5-7B 0.000 0.123 +0.123 +0.371 +0.048 Gemma-3-27B 0.232 0.226 −0.006 +0.005 −0.005

发现。问题位置而非问题存在性导致了巨大的准确率差距：在内容相同的情况下，Qwen3-VL-8B 的问题优先比问题最后在 NaturalBench 上低 8.1 个百分点，在 Winoground 组准确率上低 9.5 个百分点。

4 悖论的解剖

我们通过两个探针来剖析定义悖论的两种排序：问题优先（STI）和问题最后（SIT）。感知探针询问图像 token 编码了什么，使用 logit lens 解码每个 patch 的隐藏状态，并测量其偏离仅图像基线的程度。读出探针询问答案位置使用了什么，逐层追踪其对问题和图像 span 的注意力以及正确回答 token 的出现。悖论被解析为一种清晰的解耦：引导存在于第一个探针中，而失败存在于第二个探针中。除非另有说明，探针均在 NaturalBench 的不一致对上进行：150 个是/否问题，其中问题最后能正确回答，而问题优先回答错误（见附录 A）。

4.1 感知探针：引导是真实且无害的

在 STI 下，图像 patch 解码出的概念比在问题最后排序下更具问题相关性（图 2）。在示例中，问题询问水中的人；问题优先将通用的 patch 解码（背景、衣服、短裤）转化为与问题对齐的解码（滴水、玩耍、群体）。注意力探针也证实了这一点（图 4，中间部分）：在 STI 下，答案位置在图像 span 上分配了更多的注意力质量，比问题最后更多（SIT 的峰值为 0.237 对比 0.094）。按照朴素

第 7 页

问两次，看两次：VLM 中的回音效应 7

图 3：视觉表征携带局部化、可读的对象身份。逐 patch 的 logit lens 解码（Qwen3-VL，第 28 层）：每个区域解码为其自身的对象（人群解码为足球，猫解码为睡觉/条纹，植物解码为枝叶）。感知是正确的且局部化的，因此问题优先悖论是下游读取阶段的失败（完整分析见图 12）。

这一假设本应有效，但事实并非如此：STI 是本文所有表格中排序最差的方法，且经过引导的模型仍然回答错误。 我们可以直接测量引导效果（图 7）。与单独展示图像相比，问题在后（SIT）几乎不改变 patch（平均余弦相似度 0.91）；微小的残余变化来自图像之前的系统提示，而非问题，因为 SIT 将问题置于图像之后，因果掩码因此将其对 patch 的影响隐藏。问题在前（STI）则显著改变了它们（平均值为 0.86，受影响最严重的 patch 降至 0.62），这是一种具有空间结构的偏移。图像之前的问题重塑了感知；图像之后的问题则不能。 这种经过引导的感知也是正确且局部化的：在较深层通过 logit lens 解码时，每个区域都报告其自身的对象（图 3）。读取阶段必须参考的表征是正确的且局部化的，因此悖论在于未能参考它，而非未能形成它。

4.2 读取探针：问题受到的注意力不足，且决策过早锁定

读取探针解决了这一悖论（图 4，左侧）。在 STI 下，答案对问题的注意力峰值仅为 0.068，而在 SIT 下为 0.148：问题与答案之间隔开了整个图像跨度，导致问题几乎未被阅读。涌现曲线（图 4，右侧）揭示了下游的故事：在问题在后的情况下，正确答案 token 的概率随深度增加而上升（最终为 0.85），而在问题在前的情况下则保持平坦且较低（最终为 0.14）。 决策层视角将这一现象细化为时间维度。追踪随深度变化的 P(correct) 双向变化，STI 在这些样本对的 41% 中过早锁定了一个错误的、以图像为锚点的 token，而 SIT 下这一比例仅为 2%：问题在前时，模型在问题表征到达答案之前，便基于图像过早做出了决策。

第 8 页

8 Abhinandan 等人

图 4：在 NaturalBench 分歧对（STI 错误，问题在后正确；150 对）上的逐层探针分析，按对平均。左图：答案到问题的注意力；STI（红色）几乎不关注远处的提问，而 SIT、STIT 和 SITIT 则关注。中图：答案到图像的注意力；STI 过度关注图像。右图：按层划分的 logit-lens 正确回答标记概率 $P(\text{correct answer token})$；只有在将问题置于答案旁边的排序中，正确答案才会显现。第 5 节（SITIT，虚线 SITIT-r）的重新呈现变体在这些探针上追踪了回音效应。

发现。问题优先在读取阶段失败，而非感知阶段。答案对远处问题的注意力不足（峰值为 0.068，而问题在后时为 0.148），并在 41% 的分歧对中锁定了一个错误的图像锚定标记（而问题在后时仅为 2%）；问题的位置而非存在与否，决定了答案从何处读取。

4.3 因果干预：读取边缘是必要的

上述探针仅显示相关性：它们表明在 STI 下答案对问题的注意力较少，但这并不意味着该边缘导致了性能差距。我们通过注意力阻断来测试因果关系。在单次前向传播中，我们在所有 36 个文本层中，从答案位置到选定标记范围的每个注意力边缘添加一个预 softmax $-\infty$ 偏置，从而切断答案读取该范围的能力，同时保持其他所有计算完整。在 250 个结果独立的 yes/no 对上，我们在每种排序下依次阻断问题范围、图像范围以及一个相同大小的随机文本范围（特异性控制）（见表 2）。阻断操作将问题保留在提示中，仅切断答案位置到该问题的直接边缘：问题仍被编码，且仍被其他所有位置读取，其内容仍可通过问题与答案之间的标记间接到达答案，这些标记已经关注过问题。因此，阻断操作隔离了答案对问题的直接读取，而非其总访问权限，这就是为什么切断答案实际使用的边缘仅导致准确率部分下降，而非降至随机水平（见附录 D）。

结果呈现出清晰的解离效应。在问题在后（SIT）的情况下，切断答案到问题的边缘使准确率降低 0.056（95% CI [0.020, 0.096]，配对自举 $p \approx 0.003$），而切断其到图像的边缘则毫无影响（0.000，不显著）：答案在因果层面上读取问题。在问题优先（STI）的情况下，这种依赖性发生反转：问题边缘无效（+0.004，不显著），而图像边缘才是关键（0.096，[0.040, 0.152]，$p \approx 0.001$）。两种排序下的随机范围控制均为零（$\le 0.008$），且两个交互项均显著（问题：0.060，$p \approx 0.006$；图像：0.096，$p \approx 0.001$）。扩大

第 9 页

问两次，看两次：VLM 中的回音机制 9

表 2：因果注意力阻断（Qwen3-VL-8B，250 个是/否对）。当切断答案对某文本段的注意力连接（在所有层中）时，每对的准确率变化（干净准确率：STI 0.576，SIT 0.588）；负值表示该边被使用。在问题在后（question-last）的情况下，答案因果性地读取问题；在问题在前（question-first）的情况下，答案因果性地读取图像。∗：配对自助法 95% 置信区间不包含零。

被切断的边 STI (Q-first) SIT (Q-last)

答案 → 问题 +0.004 −0.056∗ 答案 → 图像 −0.096∗ +0.000 答案 → 随机 +0.004 −0.008

将切断区域扩展到整个问题后文本段更鲜明地复现了图像依赖性（STI 图像阻断 −0.204）。问题位置不仅改变了模型的注视位置，还改变了答案的计算来源。

发现。读出边是因果性的，而不仅仅是相关性的。切断答案对问题的注意力导致问题在后（question-last）情况下准确率下降 0.056（p ≈ 0.003），但在问题在前（question-first）情况下没有影响，此时由图像边承载答案（0.096，p ≈ 0.001）；相同大小的随机阻断则无影响。问题位置控制着答案的计算来源。

4.4 机制预测：差距随问题-答案距离扩大

读出解释做出了定量预测。在 STI 中，图像文本段将问题与答案隔开，因此图像占据的视觉 token 越多，问题距离越远，被读取的程度越低；而在 SIT 中，无论图像大小如何，问题都紧邻答案。因此，STI 与 SIT 之间的差距应随图像 token 数量扩大。我们在 Qwen3-VL 上对此进行测试，通过在一系列分辨率下重新渲染 NaturalBench 来设定视觉 token 数量，仅使用足够大的图像以确保每个点都是真实的降采样。预测成立：差距从 64 个 token 时的 0.05 扩大到 324 个 token 时的 0.08，随后当图像可辨认且问题在后（question-last）接近 0.35 时趋于饱和，而问题在前（question-first）则继续上升（见附录 F）。该诊断预测了方向性和饱和性，而不仅仅是符号。

综合来看，这两种探测方法用机制取代了悖论。问题在前（Question-first）的提示以牺牲解码器访问为代价换取感知引导，而在当前的 VLM 中，访问能力更为重要。理想的提示不应在两者之间做出选择：它应该提供两次问题。

5 从诊断到提示：回音

诊断规定了提示策略。引导需要在图像之前放置问题（见 4.1 节）；读出需要问题紧邻答案（见 4.2 节）。单个问题副本无法同时位于这两个位置，因此我们使用两个副本。

第 10 页

10 Abhinandan 等人

5.1 问题回音 (STIT)

我们的基础提示在图像两侧重述问题：

\S T IT {}\; =\;\t ext {S ystem},\\text{Task},\\text{Image},\\text{Task}. (3)

图像前的副本提供了自上而下的信号，引导视觉编码（问题优先的承诺）。图像后的副本恢复了问题-答案的相邻性（问题最后的优势）。回音仅增加了一个重复问题的令牌成本，即十几个令牌，相对于数百个图像令牌而言。

第 4 节的探测证实，回音实现了诊断的两个方面。其图像前的副本精确复现了问题优先的感知引导：图像在它之前看到了相同的令牌，因此在因果掩码下，其补丁编码与 STI 重合（图 7，余弦相似度 1.000），且两者解码结果相同（图 2）。其图像后的副本恢复了读取：答案现在可以关注相邻的问题（图 4；峰值 0.144，而 STI 为 0.068），正确答案随深度重新出现（最终 P(correct) 为 0.59，而 STI 为 0.14），并且模型仅在 17% 的不一致对中过早 committing 到错误令牌，而 STI 为 41%。回音保留了问题优先的引导和问题最后的读取能力。

5.2 回显图像 (SITIT, SITIT-r)

一种更强的变体也回显图像，将其与重复的问题一起重新呈现：

\SI T IT {}\; =\;\te xt {S ystem} ,\ \text{Image},\\text{Task},\\text{Image},\\text{Task}. (4)

模型两次看到（图像，问题）对，并在第二个问题旁边作答。两种效应结合。首先，第二次传递使用已在上下文中的问题重新编码图像，产生特定于问题的特征。其次，它消除了因果注意力瓶颈。视觉编码器在补丁上是双向的，但 Qwen3-VL 解码器以因果方式关注这些补丁令牌，因此在解码器内部，一个补丁无法利用其后的补丁（图 5，左侧）。仅重复即可消除这一限制：在因果掩码下，第二个副本的每个补丁都关注整个第一个副本（图 5，中间），因此其表示整合了整个图像，这是一种在不改变架构的情况下获得的双向风格读取。

整体来看，SITIT 结合了两种基线的优势：其开头的图像-问题对复现了 SIT（训练格式），以分布内编码，而其第二个图像是 STI 的问题引导传递（图 7），现在关注整个第一个副本并与答案相邻，解码器可以读取它，而不是让它孤立存在。 另一种变体反转了第二个副本的补丁顺序和位置索引（SITIT-r）；附录 C 显示其影响很小，并遵循解码器的注意力掩码。

第 11 页

两次提问，两次观察：VLM 中的回音效应 11

key → copy A (all) copy B

↓ query

Qwen, 1 image Re-present (SITIT) Gemma, 1 image (causal) (2nd copy sees all of A) (bidirectional)

图 5：注意力可达性机制被激活的情况。填充的单元格表示查询补丁（行）可以关注到键补丁（列）。左侧：在 Qwen 的因果解码器中，单个图像仅允许补丁 k 关注 1…k，因此其表示丢失了后续补丁的信息。中间：重新呈现图像（SITIT）使得每个 copy-B 补丁都能关注整个 copy A（橙色），从而整合整张图像，这种双向读取仅由重复产生。右侧：Gemma 的解码器在图像块内已经具备双向注意力，因此重复带来的增益较少。反转 copy B（SITIT-r）保留了橙色的整图读取，仅翻转了哪些 copy-B 邻居（青色）来细化每个补丁，这就是为什么其变化很小的原因。

6 结果

6.1 位置阶梯

图 6 绘制了所有五个模型在 NaturalBench 上的位置阶梯，表 3 补充了 POPE 和 Winoground 的结果。结果呈现出阶梯状分布。在 Qwen3-VL 上，将问题移至图像之后，在 token 数量相同的情况下，使 NaturalBench 组准确率恢复了 8.1 分；回音效应匹配了该“问题在后”的基线水平，而重新呈现图像效果最佳，比回音效应显著高出 +0.024，比“问题在前”高出 10.4 分，且所有子指标均遵循相同的排序（表 7）。该模式在所有模型中均成立，图中清晰可见两个诚实的例外。在 Gemma-3 上，尽管问题顺序无关紧要，但回音效应仍提升了所有指标，因此该修复措施并非仅仅是抵消 Qwen 系列模型的某种特性。在 Qwen2.5-VL 上，仅靠问题回音未能完全恢复性能，但图像重新呈现恢复了性能。LLaVA-1.5 是极端案例：“问题在前”导致其在所有基准测试中坍缩为恒定的“Yes”，而“问题在后”修复了这一问题，其 POPE 差距（+0.371）为所有模型中最大；由于它是单图像模型，因此不存在图像重新呈现的顺序问题。 该阶梯在组合式 Winoground 上最为陡峭：Qwen3-VL 沿阶梯从 0.223 的组准确率提升至 0.410，相比“问题在前”获得了 19 分的增益（p < 10−13），Gemma-3 则从 0.213 提升至 0.318。在接近饱和的 POPE 上，除“问题在前”外的所有排序均与最佳结果相差在一个点以内，因此我们不过度解读它。

发现。增益在任务最难时最大。在 Winoground 组准确率方面，我们的提示在 Qwen3-VL 上比最佳基线高出 9.2 分（0.410 vs. 0.318, p < 10−5），在 Gemma-3 上高出 11.0 分（0.318 vs. 0.208, p < 10−6）；在接近饱和的 POPE 上，除“问题在前”外的所有排序均相差在一个点以内。

开放式生成。迄今为止，所有基准测试均为是/否或强制选择类型，因此人们可能会担心该阶梯是受限输出空间的伪影。事实并非如此：

第 12 页

12 Abhinandan 等人

表 3：主要结果（主模型）。NaturalBench 组准确率（1,900 个组）、POPE 准确率/F1（9,000 个问题）以及 Winoground 文本/组准确率（400 个组），针对两个主模型。问题回音（STIT）恢复了问题优先的差距，图像重复呈现（SITIT、SITIT-r）匹配或超过问题最后，并在最难的基准（Winoground）上获胜。在 Qwen3-VL 上，STI→SIT 的差距和 STIT→SITIT 的提升均显著（McNemar p < 10−12，p = 0.016）；在 Gemma 上，STI≈SIT（p = 0.62），但回音策略仍有帮助。每个模型的最佳结果以粗体显示。图 6 展示了所有五个模型的 NaturalBench 阶梯图。

NatBench POPE Winoground

模型 排序 组 准确率 F1 文本 组 STI (问题优先) 0.270 0.870 0.861 0.699 0.223 SIT (问题最后) 0.351 0.891 0.884 0.743 0.318 Qwen3-VL-8B STIT (本文) 0.350 0.884 0.876 0.774 0.375 SITIT (本文) 0.374 0.889 0.881 0.779 0.403 SITIT-r (本文) 0.374 0.889 0.883 0.781 0.410 STI (问题优先) 0.232 0.840 0.830 0.680 0.213 SIT (问题最后) 0.226 0.845 0.845 0.683 0.208 Gemma-3-27B STIT (本文) 0.253 0.838 0.832 0.708 0.253 SITIT (本文) 0.255 0.834 0.836 0.733 0.318 SITIT-r (本文) 0.252 0.835 0.837 0.721 0.298

表 4：开放式 VQA（Qwen3-VL-8B，2,000 个 VQAv2 验证问题，基于自由形式生成的官方软准确率）。阶梯效应在不受约束的输出中依然存在：问题优先落后于问题最后（配对自举 ∆= +0.023，95% CI [+0.011, +0.035]），且图像重复呈现效果最佳。最佳结果以粗体显示。

STI SIT STIT SITIT

VQA 软准确率 0.811 0.834 0.821 0.838

在 2,000 个 VQAv2 验证问题上，使用基于自由形式生成的官方软准确率指标进行评分，阶梯效应依然存在（问题优先 0.811，问题最后 0.834，重复呈现 0.838；STI-SIT 的差距在 95% 置信水平下不包含零；表 4）。这一悖论是问题所在位置的特性，而非答案格式的特性。

7 消融实验：隔离活性成分

该机制声称，差距在于问题所在的位置，而非令牌数量或计算量。我们通过尝试除图像后问题之外的所有方法来缩小差距，以验证这一主张（表 5；Qwen3-VL-8B，NaturalBench 组准确率）。

并非更多的图像令牌。在 STI 下复制图像仅使组准确率略有提升（至约 0.28），而将图像缩小为更少的令牌（mean-resize）则使其降低至 0.258。

第 13 页

问两次，看两次：VLM 中的回音效应 13

图 6：跨模型的位置阶梯。五个 VLM 在 NaturalBench 组上的准确率。在存在悖论的四个模型中，准确率从问题优先（STI）到问题滞后（SIT）再到回音（STIT）再到图像重呈现（SITIT）逐步上升；例外情况包括：honest 和 visible（Qwen2.5-VL 在 STIT 下恢复不足；Gemma-3 没有 STI-SIT 差距，但仍从回音效应中获益；LLaVA-1.5 是单图像模型，因此 SITIT 不适用）。所有模型的精确指标数值见 Tab. 7。

这并非更多的预回答计算量。在问题后插入 5 到 120 个填充 token 并无帮助（约 0.266），且在回音效应之上进行思维链（chain-of-thought）推理也未带来提升（0.332 对比 0.350）。

问题内容必须与答案相邻。完整的图像后问题重述可恢复准确率（STIT 0.350）；同一位置的简短提示恢复效果差得多（0.292）。图像后的副本必须重述问题，而不仅仅是标记问题结束的位置。

重复图像仅在训练顺序中有效。用重复图像扩展问题回音的自然方式是 STITI：在图像周围回音问题，然后重复图像。其表现低于 SITIT（0.354 对比 0.374），尽管两者包含相同的内容，仅在图像和问题的配对方式上有所不同：SITIT 使用 SIT 的图像优先单元，即模型训练时采用的格式；而 STITI 使用 STI 的问题优先单元。差距并非在于相邻性：在 STITI 后追加最终问题（STITIT）并无帮助（0.352）。仅当重复单元遵循分布内的图像优先顺序时，重现图像才有效。

发现。关键杠杆是与答案相邻的重述问题，而非 token 数量或计算量：更多的图像 token（0.281）、更少的 token（0.258）以及填充（0.266）均未能缩小差距，而完整的图像后问题则能缩小差距（0.350；简短提示则不能，0.292）。重现图像仅在训练格式中有效：SITIT 比内容相同的 STITI 高出两个百分点（0.374 对比 0.354）。

8 讨论

两种机制，两个位置。我们的结果将提示设计混淆的两个效应区分开来。将问题置于前方确实会产生自上而下的视觉引导，

第 14 页

14 Abhinandan 等人

表 5：NaturalBench 上的消融实验（Qwen3-VL-8B，组准确率）。添加图像 token 或预回答计算并未缩小问题优先的差距；而图像后问题则起到了作用。

组 变体 组准确率 STI（基线） 0.270 不增加 token STI + 图像副本 ×2/ × 3 0.281 / 0.280 STI + 平均调整大小（更少） 0.258 STI + 空格（5/40/120 填充） 0.266 / 0.267 / 0.266 不增加计算 STIT + 思维链 0.332 STIT（完整图像后问题） 0.350 问题内容很重要 STIT + 简短提示（相同位置） 0.292 SIT（问题在后） 0.351 STIT（回音问题） 0.350 STITI（回音图像，STI 单元） 0.354 排序阶梯 STITIT（STITI + 最终问题） 0.352 SITIT（回音图像，SIT 单元） 0.374 SITIT-r（SITIT，第二张图像反转） 0.374

但仅解码器的 VLM 主要从答案位置相邻的 token 中读取其答案，因此孤立的问题几乎不被咨询，且被引导的特征被解码为早期的、以图像为锚点的猜测。问题在后之所以获胜，并非因为它更好地引导了视觉（它引导得更少），而是因为问题位于答案可以使用的地方。回音策略兼顾了两者：使用图像前的副本进行引导，使用图像后的副本进行读取。

超出提示的影响。由此引出三点启示。对于基准测试：报告的 VQA 数值依赖于一个未记录的排序选择，其影响高达 17.5 分；协议应固定并报告该选择。对于智能体系统：在附加视觉上下文之前陈述任务的管道采用了最差的排序，而一行回音即可修复它们。对于训练：分布内效应（第 7 节）表明顺序鲁棒性是学习得到的；在指令微调期间混合章节顺序可能会从源头上消除该悖论。

局限性。我们研究了参数规模高达 27B 的开源 VLM，这些模型在由短答案问题主导的基准上表现；封闭模型以及 VQAv2 之外的长文本生成仍是未来的工作。Logit Lens 是近似的，激活修补（activation patching）会将电路定位到我们阻断方法之外的范围。重新表示增加了第二张图像的 token 成本。

结论。问题优先悖论是一种位置读取失败：最能引导感知的排序将问题置于答案无法读取的位置。经过诊断、因果确认，并通过提示编辑修复，它留下了一条规则：将问题放置在其既能引导又能被读取的位置，并让解码器对图像进行二次查看。

第 15 页

问两次，看两次：VLM 中的回音效应 15

参考文献

1. 2025年4月版 Vertex AI Gemini https://services.google.com/fh/files/ misc/2_vertex_ai_gemini_multimodal_prompting.pdf 2. 图像提示工程技术 – Microsoft Foundry | Microsoft Learn, https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/gpt- 4-v-prompt-engineering 3. 解读 GPT：Logit Lens — LessWrong (2020), https://www.lesswrong. com/posts/AcKRB8wDpdaN6v6ru/interpreting-gpt-the-logit-lens 4. Bai, S., Chen, K., Liu, X., Wang, J., Ge, W., Song, S., Dang, K., Wang, P., Wang, S., Tang, J., Zhong, H., Zhu, Y., Yang, M., Li, Z., Wan, J., Wang, P., Ding, W., Fu, Z., Xu, Y., Ye, J., Zhang, X., Xie, T., Cheng, Z., Zhang, H., Yang, Z., Xu, H., Lin, J.: Qwen2.5-VL 技术报告 pp. 1–23 (2025年2月), https://arxiv.org/ pdf/2502.13923 5. Boyd, W.M.: 散文学习中的重复问题, vol. 64. 美国心理学会, 1 edn. (1974) 6. Buswell, G.T.: 人们如何观看图片：艺术感知心理学研究. 芝加哥大学出版社 (1935) 7. Hamaker, C.: 辅助问题对散文学习的影响. 教育研究评论 夏季 56(2), 212–242 (1986), http://rer.aera.net 8. Han, F., Cui, H., Guo, L., Wang, Z., Lyu, Z.: 思考前先阅读：通过逐步阅读缓解 LLM 理解失败 9. Ismithdeen, M.I., Khattak, M.U., Khan, S.: Promptception：大型多模态模型对提示有多敏感？ (2025年9月), https://arxiv.org/pdf/2509. 03986 10. Leviathan, Y., Kalman, M., Matias, Y., Research, G.: 提示重复提升非推理型 LLM 的性能 (2025年12月), https://arxiv.org/pdf/2512.14982 11. Li, B., Lin, Z., Peng, W., de Dieu Nyandwi, J., Jiang, D., Ma, Z., Khanuja, S., Krishna, R., Neubig, G., Ramanan, D.: NaturalBench：在自然对抗样本上评估视觉-语言模型. 神经信息处理系统进展 37 (2024年10月). https://doi.org/10.52202/079017-0542, https://arxiv.org/pdf/2410.14669 12. Li, Y., Du, Y., Zhou, K., Wang, J., Zhao, W.X., Wen, J.R.: 评估大型视觉-语言模型中的对象幻觉. EMNLP 2023 – 2023年自然语言处理实证方法会议, 论文集 pp. 292–305 (2023年5月). https://doi.org/10.18653/v1/2023.emnlp-main.20, https://arxiv. org/pdf/2305.10355 13. Liu, H., Li, C., Wu, Q., Lee, Y.J.: 视觉指令微调. 神经信息处理系统进展 36 (2023年4月), https://arxiv.org/pdf/2304.08485 14. Liu, N.F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., Liang, P.: 迷失在中间：语言模型如何使用长上下文. 计算语言学会汇刊 12, 157–173 (2023年7月). https: //doi.org/10.1162/tacl{_}a{_}00638, https://arxiv.org/pdf/2307.03172 15. Neo, C., Ong, L., Torr, P., Geva, M., Krueger, D., Barez, F.: 迈向解读视觉-语言模型中的视觉信息处理. 第13届国际学习表征会议, ICLR 2025 pp. 25461–25478 (2024年10月), https://arxiv.org/pdf/2410.07149 16. Shaier, S., Sanz-Guerrero, M., Von Der Wense, K.: 再次提问：探索 LLM 对重复问题的鲁棒性 (2024年12月), https://arxiv.org/ pdf/2412.07923

第 16 页

16 Abhinandan 等人

17. Tan, Z., Chu, X., Li, W., Mo, T.: Order Matters: Exploring Order Sensitivity in Multimodal Large Language Models (2024年10月), https://arxiv.org/pdf/2410. 16983 18. Team, G., Kamath, A., Ferret, J., Pathak, S., Vieillard, N., Merhej, R., Perrin, S., Matejovicova, T., Ramé, A., Rivière, M., Rouillard, L., Mesnard, T., Cideron, G., Grill, J.b., Ramos, S., Yvinec, E., Casbon, M., Pot, E., Penchev, I., Liu, G., Visin, F., Kenealy, K., Beyer, L., Zhai, X., Tsitsulin, A., Busa-Fekete, R., Feng, A., Sachdeva, N., Coleman, B., Gao, Y., Mustafa, B., Barr, I., Parisotto, E., Tian, D., Eyal, M., Cherry, C., Peter, J.T., Sinopalnikov, D., Bhupatiraju, S., Agarwal, R., Kazemi, M., Malkin, D., Kumar, R., Vilar, D., Brusilovsky, I., Luo, J., Steiner, A., Friesen, A., Sharma, A., Sharma, A., Gilady, A.M., Goedeckemeyer, A., Saade, A., Feng, A., Kolesnikov, A., Bendebury, A., Abdagic, A., Vadi, A., György, A., Pinto, A.S., Das, A., Bapna, A., Miech, A., Yang, A., Paterson, A., Shenoy, A., Chakrabarti, A., Piot, B., Wu, B., Shahriari, B., Petrini, B., Chen, C., Lan, C.L., Choquette-Choo, C.A., Carey, C., Brick, C., Deutsch, D., Eisenbud, D., Cattle, D., Cheng, D., Paparas, D., Sreepathihalli, D.S., Reid, D., Tran, D., Zelle, D., Noland, E., Huizenga, E., Kharitonov, E., Liu, F., Amirkhanyan, G., Cameron, G., Hashemi, H., Klimczak-Plucińska, H., Singh, H., Mehta, H., Lehri, H.T., Hazimeh, H., Ballantyne, I., Szpektor, I., Nardini, I., Pouget-Abadie, J., Chan, J., Stanton, J., Wieting, J., Lai, J., Orbay, J., Fernandez, J., Newlan, J., Ji, J.y., Singh, J., Black, K., Yu, K., Hui, K., Vodrahalli, K., Greff, K., Qiu, L., Valentine, M., Coelho, M., Ritter, M., Hoffman, M., Watson, M., Chaturvedi, M., Moynihan, M., Ma, M., Babar, N., Noy, N., Byrd, N., Roy, N., Momchev, N., Chauhan, N., Sachdeva, N., Bunyan, O., Botarda, P., Caron, P., Rubenstein, P.K., Culliton, P., Schmid, P., Sessa, P.G., Xu, P., Stanczyk, P., Tafti, P., Shivanna, R., Wu, R., Pan, R., Rokni, R., Willoughby, R., Vallu, R., Mullins, R., Jerome, S., Smoot, S., Girgin, S., Iqbal, S., Reddy, S., Sheth, S., Põder, S., Bhatnagar, S., Panyam, S.R., Eiger, S., Zhang, S., Liu, T., Yacovone, T., Liechty, T., Kalra, U., Evci, U., Misra, V., Roseberry, V., Feinberg, V., Kolesnikov, V., Han, W., Kwon, W., Chen, X., Chow, Y., Zhu, Y., Wei, Z., Egyed, Z., Cotruta, V., Giang, M., Kirk, P., Rao, A., Black, K., Babar, N., Lo, J., Moreira, E., Martins, L.G., Sanseviero, O., Gonzalez, L., Gleicher, Z., Warkentin, T., Mirrokni, V., Senter, E., Collins, E., Barral, J., Ghahramani, Z., Hadsell, R., Matias, Y., Sculley, D., Petrov, S., Fiedel, N., Shazeer, N., Vinyals, O., Dean, J., Hassabis, D., Kavukcuoglu, K., Farabet, C., Buchatskaya, E., Alayrac, J.B., Anil, R., Dmitry, Lepikhin, Borgeaud, S., Bachem, O., Joulin, A., Andreev, A., Hardin, C., Dadashi, R., Hussenot, L.: Gemma 3 Technical Report (2025年3月), https://arxiv.org/pdf/2503.19786 19. Thrush, T., Jiang, R., Bartolo, M., Singh, A., Williams, A., Kiela, D., Ross, C.: Winoground: Probing Vision and Language Models for Visio-Linguistic Compo- sitionality. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2022-June, 5228–5238 (2022年4月). https://doi. org/10.1109/CVPR52688.2022.00517, https://arxiv.org/pdf/2204.03162 20. Xu, X., Tao, C., Shen, T., Xu, C., Xu, H., Long, G., Lou, J.G., Ma, S.: Re-Reading Improves Reasoning in Large Language Models. EMNLP 2024 – 2024 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference pp. 15549–15575 (2023年9月). https://doi.org/10.18653/v1/2024.emnlp-main.871, https://arxiv.org/pdf/2309.06275

第 17 页

问两次，看两次：VLM 中的回音效应 17

A 补充材料：实验设置与可复现性

模型。我们使用公开指令微调的检查点 Qwen3-VL-8B、Qwen2.5-VL-7B、InternVL3-8B、LLaVA-1.5-7B 和 Gemma-3-27B，由单个顺序感知的输入构建器驱动，使得不同排序仅在于相同 token 的排列差异。LLaVA-1.5 仅接受单张图像，因此图像-表示排序（SITIT、SITIT-r）不适用于它。

提示。固定的系统提示语如下，逐字引用：

好奇的用户与人工智能助手之间的对话。 助手以有帮助、详细且礼貌的方式回答人类的问题。

是/否问题追加“仅使用 Yes 或 No 回答问题。”；二选一题目追加“仅使用选项字母（A 或 B）作答。”解码采用贪婪策略，预算为 16 个 token，预测结果为第一个 Yes/No（或选项字母）token。

数据。NaturalBench（1,900 组四对（图像，问题）对）、POPE（9,000 个问题）、Winoground（400 组）以及 VQAv2 的开放结束拆分（2,000 个验证问题）。组准确率仅在 NaturalBench 或 Winoground 组的所有四对均正确时，才将该组计为正确。

开放结束 VQA 评分。在 VQAv2 上，模型生成自由形式的答案（贪婪解码，不提供选项）。我们报告官方的 VQA 软准确率：在对标准答案进行标准化处理（对回复和十个参考答案均进行小写化、标点符号及数字/冠词处理）后，若预测结果与十个标注者中的 k 个一致，则得分为 min(k/3, 1)，该得分在留一法标注者子集和问题上取平均。由于自由形式生成返回的是短语而非裸 token，若完整单词形式的真实答案出现在回复中，我们将其视为已生成（因此“no”不匹配“snow”）；这种完整单词包含关系是对短答案模型所使用的精确匹配的一种小幅放宽。

显著性。对于相邻排序，我们使用双侧精确 McNemar 检验和配对自助法 95% 置信区间（5,000 次重采样）来测试每组正确率的配对差异。

机制探测。感知和读出探测针对每个（图像，问题）对读取单次急切注意力前向传播；除非另有说明，它们在 150 个分歧对（问题在后则正确，问题在前则错误）上运行。因果阻断（第 4.3 节）使用 250 个与结果无关的是/否对。代码和项目网站包含在补充材料中。

第 18 页

18 Abhinandan 等人

表 6：表 1 中的差距与回音梯度的配对显著性。$\Delta$ 是基准正确性单位上的差距（NaturalBench 和 Winoground 按组，即四个（图像，问题）对均正确；POPE 按问题）；95% CI 为配对自助法（5,000 次重采样），$p$ 为对不一致对进行的两侧精确 McNemar 检验。悖论（STI $\rightarrow$ SIT）在除 Gemma-3 外的所有地方均显著。

比较 $\Delta$ 95% CI McNemar p 问题优先悖论 (STI $\rightarrow$ SIT) NaturalBench (组) Qwen3-VL-8B +0.081 [+0.058, +0.103] <10$^{-4}$ Qwen2.5-VL-7B +0.176 [+0.155, +0.196] <10$^{-4}$ InternVL3-8B +0.079 [+0.054, +0.105] <10$^{-4}$ LLaVA-1.5-7B +0.123 [+0.109, +0.138] <10$^{-4}$ Gemma-3-27B −0.006 [−0.026, +0.015] .620 POPE (按问题) Qwen3-VL-8B +0.020 [+0.015, +0.025] <10$^{-4}$ Qwen2.5-VL-7B +0.056 [+0.050, +0.063] <10$^{-4}$ InternVL3-8B +0.053 [+0.046, +0.060] <10$^{-4}$ LLaVA-1.5-7B +0.371 [+0.358, +0.385] <10$^{-4}$ Gemma-3-27B +0.005 [−0.001, +0.012] .124 Winoground (组) Qwen3-VL-8B +0.095 [+0.050, +0.140] <10$^{-4}$ Qwen2.5-VL-7B +0.185 [+0.145, +0.225] <10$^{-4}$ InternVL3-8B +0.210 [+0.163, +0.258] <10$^{-4}$ LLaVA-1.5-7B +0.048 [+0.028, +0.070] <10$^{-4}$ Gemma-3-27B −0.005 [−0.052, +0.043] .916

回音梯度 (NaturalBench 组) Qwen3-VL-8B: SIT $\rightarrow$ STIT −0.001 [−0.022, +0.020] 1.000 Qwen3-VL-8B: STIT $\rightarrow$ SITIT +0.024 [+0.005, +0.043] .016 Gemma-3-27B: SIT $\rightarrow$ STIT +0.026 [+0.006, +0.046] .014 Gemma-3-27B: STIT $\rightarrow$ SITIT +0.003 [−0.015, +0.021] .819

B 补充材料：完整的按指标结果及控制实验

悖论显著性。表 6 报告了表 1 中每个差距的配对显著性，以及两个主要模型上的回音梯度步骤。问题优先悖论在除 Gemma-3 之外的所有模型和基准上均显著，Gemma-3 是唯一顺序无关紧要的模型。

NaturalBench 子指标。表 7 将主结果表（表 3）中 NaturalBench 列扩展为所有四个官方指标：Group（组内所有四个（图像，问题）对均正确）、Question（针对一个问题，两个图像均正确）、Image（针对一个图像，两个问题均正确）和 Pair（单个（图像，问题）对正确）。主文中的位置梯度在每个模型的每个子指标上均成立。

随机置换控制 (SITIT-p)。将第二个图像副本的反转替换为其图块的随机置换（保留 2D 位置索引）

第 19 页

两次提问，两次观看：VLM 中的回音效应 19

表 7：NaturalBench（1,900 组），所有四项指标。正文中的排序阶梯（STI < SIT ≈ STIT < SITIT）在每个子指标上均成立。每个模型的最佳结果以粗体显示。

模型 排序 组 问题 图像 对 STI (问题优先) 0.270 0.523 0.560 0.753 SIT (问题后置) 0.351 0.600 0.621 0.792 Qwen3-VL-8B STIT ( ours) 0.350 0.593 0.622 0.790 SITIT ( ours) 0.374 0.619 0.643 0.804 SITIT-r ( ours) 0.374 0.617 0.643 0.803 STI (问题优先) 0.232 0.490 0.532 0.732 SIT (问题后置) 0.226 0.491 0.526 0.733 Gemma-3-27B STIT ( ours) 0.253 0.516 0.551 0.746 SITIT ( ours) 0.255 0.513 0.546 0.746 SITIT-r ( ours) 0.252 0.506 0.540 0.740 STI (问题优先) 0.102 0.313 0.336 0.649 SIT (问题后置) 0.277 0.542 0.562 0.760 Qwen2.5-VL-7B STIT ( ours) 0.191 0.451 0.477 0.718 SITIT ( ours) 0.276 0.532 0.551 0.757 STI (问题优先) 0.276 0.530 0.568 0.756 SIT (问题后置) 0.355 0.605 0.627 0.796 InternVL3-8B STIT ( ours) 0.365 0.611 0.633 0.798 SITIT ( ours) 0.393 0.631 0.649 0.808 STI (问题优先) 0.000 0.017 0.035 0.503 LLaVA-1.5-7B SIT (问题后置) 0.123 0.365 0.413 0.669 STIT ( ours) 0.120 0.357 0.420 0.663

在所有三个基准测试和两个模型上均同时匹配正向和反向重表征：NaturalBench 组 0.380 / 0.249，POPE 准确率 0.888 / 0.834， 以及 Winoground 组 0.403 / 0.312（Qwen3-VL / Gemma-3），均在 SITIT 的噪声范围内。重表征的提升来自于第二次全图读取本身， 而非第二个副本的任何特定顺序。

C 补充材料：反向遵循掩码 (SITIT-r)

第二个图像副本需要反向吗？机制表明不需要，并且它对每个模型的说法不同，这本身也是一种检查。正向重复已经提供了全图上下文，因此反转第二个副本的补丁顺序和位置索引（SITIT-r）应仅增加扫描顺序的多样性：对于在图像 token 上具有因果关系的解码器，这会带来小幅提升；对于已经具有双向关系的解码器，则没有影响。从每个模型的代码中读取注意力掩码，Qwen3-VL 在图像 token 上是因果的，而 Gemma-3 在每个图像块内是双向的（图 5）。预测成立：反向对 Qwen3-VL 有轻微帮助（Winoground 组从 0.403 提升到 0.410），并对 Gemma-3 有轻微损害（从 0.318 降至 0.298）。探针

第 20 页

20 Abhinandan 等人

将逆转效应定位在感知层面，而非读出层面：SITIT-r 在“答案对问题的注意力”和“答案涌现”（最终 P(correct) 0.85 对比 0.84）上与 SITIT 相匹配。一项最终控制实验用保留二维位置的第二份副本的随机排列（SITIT-p）替代逆转效应：它在所有三个基准测试和两个模型上均与正向和逆转的重新呈现相匹配（附录 B），因此增益来自于对整幅图像的第二次直接读取本身，而非第二份副本的任何特定顺序。

发现。该机制预测了每个模型中逆转效应的符号，且预测成立：逆转效应略微帮助了因果解码器 Qwen3-VL（Winoground 从 0.403 提升至 0.410），而未帮助已经具备双向特性的 Gemma-3（从 0.318 降至 0.298）；符号与从每个模型代码中读取的掩码一致。随机第二份副本顺序（SITIT-p）与两者均匹配，因此增益来自于对整幅图像的第二次读取，而非其任何特定顺序。

D 补充材料：注意力阻断做了什么以及未做什么

第 4.3 节中的因果干预值得澄清一下，因为一种自然的解读是：禁止答案关注问题应使模型完全无法作答。事实并非如此，原因有二。

问题仍保留在提示中。我们并未删除问题或对其进行全局掩码。我们仅在注意力矩阵的条目中添加预 softmax 的 $-\infty$，这些条目连接答案位置（在报告的“最后”范围内为最后一个 token）与问题 token 列，且作用于所有文本层。其他所有位置仍自由地关注问题；问题仍被嵌入并继续塑造其余计算过程。答案后缀（“… Answer Yes or No:”）保持不变，因此模型始终会生成格式良好的 yes/no token。阻断改变的是模型给出的答案，而非其是否作答。

问题的内容仍间接到达答案。在 Transformer 中，token 的含义并非仅存在于其自身的列中。在早期层中，注意力将问题的内容复制并前向传播到位于问题和答案之间的 token 的隐藏状态中（即尾部标点符号和答案后缀 token）。这些中继 token 自由地关注问题，因为阻断仅影响答案位置边缘的连接。随后，答案 token 可以关注这些中继 token，因此问题的内容通过两条路径到达答案：一条是两跳路径（问题 $\rightarrow$ 中继 token $\rightarrow$ 答案），另一条是通过残差流，尽管其直接连接已被切断。这种信息的前向移动是 Transformer 计算中已充分记录的特性。

因此该数值衡量的是什么。阻断隔离了答案直接读取问题所带来的边际因果贡献，这是在通过中继泄露的内容之上的贡献；它并非对总问题访问量的衡量。这就是

第 21 页

切断该边后，答案的使用仅使准确率部分降低（问题在后时从 0.588 降至 0.532，趋向于问题相关项的随机水平），而非完全随机输出，这也是为何可报告的结论是解耦性（在“问题在后”设置下直接边具有因果性，而在“问题在前”设置下该边无作用，此时答案转而读取图像），而非完全崩溃的论断。同样的中继效应也是更广泛的“下游”阻断（同样切断了中继 token）行为不够清晰，且仅作为佐证报告的原因。

E 补充材料：感知探针的映射

图 7 映射了第 4.1 节中总结的逐 patch 引导测量结果：只有位于图像之前的问题才会移动 patch 编码，而回音策略精确复现了“问题在前”的引导效果。

图 7：不同顺序下的引导测量。图像 token 隐藏状态（第 18 层）与单独显示的图像之间的逐 patch 余弦相似度，在 NaturalBench 图像上平均（颜色越深表示移动幅度越大）。问题在后（SIT）对图像的引导作用微乎其微（均值 0.91）；问题在前（STI）对图像的引导作用显著（均值 0.86，低至 0.62）；回音（STIT）与 STI 完全相同（余弦相似度 1.000），因为因果掩码将图像后的问题对 patch 隐藏。引导仅来自位于图像之前的问题，因此回音仅在读取阶段起作用。

F 补充材料：差距随图像 token 数量增加而扩大

图 8 给出了第 4.4 节背后完整的分辨率扫描结果。我们在一系列分辨率下重新渲染 NaturalBench，从而设定视觉 token 的数量，仅使用短边大于最大渲染分辨率（784 像素）的 916 张图像，以确保每个点都是真正的下采样，且没有图像被上采样。一旦图像可辨认，“问题在后”（SIT）的组准确率在 0.35 附近饱和；“问题在前”（STI）保持较低水平，并随着感知能力的提升部分抵消其读取惩罚而持续上升。在距离主导的区间内（64 个 token 时为 0.05，324 个 token 时为 0.08），SIT 与 STI 之间的差距随 token 数量增加而扩大，随后随着 SIT 饱和而趋于平稳，这与读取解释预测的方向和形状相符。

第 22 页

22 Abhinandan 等人

图 8：问题优先差距随图像 token 数量增加而扩大。NaturalBench 组准确率（Qwen3-VL，916 张短边 ≥784 px 的图像）。左侧：问题在后（SIT）在图像可识别后饱和于约 0.35；问题在前（STI）保持较低水平并持续上升。右侧：SIT−STI 差距随 token 数量扩大（64 个 token 时为 0.05，324 个 token 时为 0.08），随后在 SIT 饱和时趋于平稳。STI 下更多图像 token 使问题离答案更远，而 SIT 使其保持相邻。

G 补充材料：问题优先改写是否具有局部性？

正文表明，问题优先提示引导了图像表示（第 4 节）：中间 patch 编码变得与问题更相关。一个自然的问题是，这种改写是否具有空间选择性，即询问某个物体是否比询问其他物体更多地改写了该物体上的 patch。我们在一张包含两个问题的图像上直接进行了测试，发现改写是真实存在但弥散的：它是整个视觉场的全局、问题条件化偏移，而非对查询物体的聚光灯式关注。

设置。我们使用一张图像（一个客厅，电视正在播放足球比赛，还有一只睡觉的猫）和两个问题，q1 =“电视上播放的是什么运动？”和 q2 =“猫在做什么？”。对于一种排序，我们取每一层的图像 token 隐藏状态 h(q)，并对每个 patch 测量 cos(h(q1), h(q2))：你问哪个问题会改变每个视觉 patch。在图像优先排序下，解码器掩码阻止图像 token 关注（后来的）问题，因此图像表示不能依赖于问题；在问题优先（STI）下，问题位于图像之前，可以改写图像。

表示仅在问题优先下依赖于问题。图 9 证实了掩码预测完全正确。图像优先保持 cos(h(q1), h(q2)) = 1.000 在所有层：视觉表示完全与问题无关。问题优先（STI，以及等价的问题回音 STIT）随着深度将余弦值降低至最后一层的 0.825：同一张图像根据所问内容被编码为不同表示。这是第 4 节中引导结果在表示层面的对应物。

但改写并不集中在查询物体上。我们询问问题优先改写是否集中在相关物体上（对于 q1 是电视，对于

第 23 页

问两次，看两次：VLM 中的回音效应 23

图 9：同一图像，两个问题。在 q1 和 q2 下，图像 token 表示之间的逐层余弦相似度。图像优先（蓝色）保持在 1.000（图像从未看到问题，因此其编码与问题无关）；问题优先 STI/STIT（红色在绿色之下，曲线相同）降至 0.825（问题重写了图像）。这是一个标量效应，而非空间效应（见图 10）。

对于 q2 的 cat）。事实并非如此。设 eq = hSTI(q) − b 为每个问题相对于仅图像基线 b 的变化量，由此得出两个事实。首先，两个问题的效应向量有 92–96% 是相同的向量：共享的、与问题无关的“存在一个问题”成分占主导地位，而 eq 中仅有约 5% 是特定于所问问题的。因此，按问题划分的扰动图 ∥eq1∥ 和 ∥eq2∥ 几乎相同（空间相关系数 0.98）。其次，原始的单 patch 幅度由少数异常值“大规模激活”隐藏维度主导（单 patch 变异系数 6.8，呈椒盐状斑点）；对每个维度进行标准化可消除此现象（变异系数 0.69）。即使在去除共享成分和异常值维度后，剩余的特定于问题的扰动在空间上是弥散的（图 10），而非集中在被查询的对象上；基于梯度的（Grad-CAM）答案 token 归因同样由背景和边框 patch 主导。问题优先的引导是对视觉场的广泛重写，这与正文中的解释一致，即悖论在于下游读取而非感知定位错误。图 9 的标量曲线，而非单 patch 热图，才是该效应的忠实可视化。

语义 logit lens 读取确实能定位。上述弥散性是原始表示几何结构的属性，而非模型感知的属性。将每个图像 patch 通过 logit lens（最终归一化和未嵌入）投影，并对概念 token 集的概率求和，可恢复出局部化的、对象级的读取结果。图 11 绘制了第 28 层中 cat 词的概率减去 sport/TV 词的概率：电视被读取为 sport/TV（蓝色），睡觉的猫被读取为 cat（红色），每个概念的质量都集中在其对象框内（cat 框内的质量是框外的 8.6 倍，sport/TV 框内的质量是框外的 5.4 倍）。将每个 patch 解码为其最高词汇量的 token 以文字形式讲述同样的故事（图 12）：人群 patch 读取为 Barcelona/soccer/stadium，球员球衣，猫 asleep/striped，盆栽植物 ceramic/plant。该读取结果也是与问题

第 24 页

24 Abhinandan 等人

图 10：图像表示的逐 patch 问题优先扰动（第 18 层）。行：原始幅度 ∥eq∥（顶部，由异常维度斑点主导），每维度标准化（中间），以及丢弃方差最大的 20 个维度后的标准化（底部）。列：q1 幅度、q2 幅度以及带符号的差异 ∥eq1∥−∥eq2∥（平滑处理；红色 = q1 重写更多，蓝色 = q2）。去噪后，q1 和 q2 的映射几乎相同（相关系数 0.98），且带符号的差异是一个近乎均匀的场，而非聚焦于电视（q1）或猫（q2）的聚光灯：重写是弥散的，而非对象局部化的。

在问题优先模式下敏感：在 STI 下，两个问题之间每个对象 ROI 上的概念质量发生变化，而在图像优先模式下则完全相同（图 13）。因此，问题优先的重写在残差流中是弥散的，但在投影到 token 空间后则在语义上是局部化的。这正是正文中读出机制所预测的：感知正确定位了对象，因此该悖论是下游未能读出正确感知的答案，而非感知失败。

读出仅在问题优先模式下依赖于问题。图 13 在同一图像上明确展示了顺序对比。在图像优先（SIT）模式下，图像 token 位于问题之前并受其掩蔽，因此两个问题的逐 patch logit lens 读出完全相同（∆P 恰好为 0）。在问题优先（STI）模式下，问题位于图像之前并移动了读出：两个问题之间每个对象 ROI 上的概念质量存在差异（|∆P| > 0）。我们报告的是这种问题效应的幅度而非其符号，因为符号在单张图像上并不稳定；稳健的、掩码级别的事实是，问题优先使得

第 25 页

问两次，看两次：VLM 中的回音效应 25

图 11：逐 patch 的 logit-lens 概念定位（第 28 层）。上方：发散图 $P(\text{cat}) – P(\text{sport/TV})$ 叠加在图像上（红色：猫概念占主导；蓝色：体育/电视概念占主导），针对图像-only 基线以及每个问题下的问题优先（question-first）条件；方框为对象 ROI，角落文本为内部/外部质量比。下方：各条件下每个对象 ROI 内的原始 logit-lens 概率质量。与弥散的余弦图（图 10）不同，语义读出（semantic readout）对每个对象进行了定位，且在问题优先条件下，每个对象上的读出对问题敏感。

视觉读出依赖于问题，而图像优先（image-first）则使其固定。这是标量余弦结果（图 9）的局部化语义对应物。

H 补充：系统提示词放置位置（IST 与 SIT）

正文中的每种排序均在开头预置固定的系统消息。此处我们通过仅移动系统块来证明该默认设置的合理性：IST（图像、系统、任务）以图像开头，而 SIT（系统、图像、任务）以系统提示词开头。这两个术语是变位词，且将问题保持在相同的问题最后位置，因此任何差异都隔离了系统提示词相对于图像的位置效应。

系统优先有帮助。在 Qwen3-VL-8B 上，将系统提示词置于图像之前（SIT）在所有三个基准测试上均优于图像优先（IST）（表 8）：NaturalBench 组准确率提升 +0.011（0.339→0.350），POPE 准确率提升 +0.002，Winoground 组准确率提升 +0.038（0.280 →0.318）。这些增益虽小，但在数据集和指标上均呈正向，这也是我们在报告的每种排序中均预置系统消息的原因；这也与模型训练时使用的标准聊天模板约定一致。

第 26 页

26 Abhinandan 等人

图 12：Logit Lens 补丁解码结果（Qwen3-VL-8B，第 28 层）。每个标注给出了在 Logit Lens 下，某个补丁解码得到的词汇表顶层 token。这些补丁解码为其对应的对象：电视人群解码为巴塞罗那/足球/体育场，球员解码为球衣，台灯解码为舒适/照明，猫解码为睡觉/条纹，盆栽解码为陶瓷/植物。视觉表示携带了局部的、人类可读的对象身份，这正是读出阶段必须访问的内容；问题优先悖论是一种读出失败，而非形成失败。

与引导分析的关系。这与图 7 相关。在 IST 下，图像是第一个内容，因此在因果掩码下，其补丁编码与仅图像基线相同（余弦相似度恰好为 1.000）。在 SIT 下，系统提示位于图像之前，因此图像 token 会反向注意力到系统提示，其编码略微偏离仅图像状态（平均余弦相似度为 0.91）。准确率数据显示，这种由系统条件引起的偏移在 Qwen 上是良性甚至轻微有益的：用与任务无关的系统前缀扰动图像并不会导致准确率下降，这与问题优先改写不同，后者造成的损害是读出失败而非感知失败（第 4 节）。

表 8：Qwen3-VL-8B 上的系统提示放置，问题保持问题在后。SIT（系统在前）与 IST（图像在前）；∆ = SIT − IST。系统在前在所有基准测试中均有帮助。NaturalBench 和 Winoground 为组准确率，POPE 为准确率。

基准测试（指标） IST SIT ∆= SIT −IST

NaturalBench (组) 0.339 0.350 +0.011 POPE (准确率) 0.888 0.891 +0.002 Winoground (组) 0.280 0.318 +0.038

发现。在 Qwen3-VL-8B 上，在所有三个基准测试中，前置系统提示（SIT）而非以图像开头（IST）带来了微小且一致的准确率提升（Winoground 组准确率最高达 +0.038），因此我们默认使用系统在前。与问题优先改写不同，系统前缀对图像编码的扰动轻微（余弦相似度 0.91 对比 1.000）且良性。

第 27 页

问两次，看两次：VLM 中的回音效应 27

图 13：问题优先引导视觉读出；图像优先则不能。同一图像，两个问题（q1 运动，q2 猫）。插图放大了猫和电视感兴趣区域（ROI）上每个 patch 的 logit-lens 概念概率；条形图给出了每个 ROI 上两个问题之间的问题效应幅度 |∆P|。在 STI 下，读出结果因问题而异（|∆P| > 0，对问题敏感）；在 SIT 下，图像无法关注后续问题，因此读出结果相同（∆P = 0，冻结）。我们展示的是问题效应的幅度，而非其符号，因为符号在一个图像上并不稳定。单张图像，第 28 层；旨在说明机制，而非数据集级别的测量。