核心区分：视觉推理不能被绕过

GraphVerse：当多模态模型看图推理时，瓶颈到底在哪里？

作者

快速导读：GraphVerse 的核心洞察是：真正的视觉图推理，必须让模型无法绕过图像本身。为此，论文提出了四种以图为中心的图像编辑策略。比如，把图切成碎片打乱，模型必须先在大脑里拼回原图才能推理；或者把两张图叠在一起，要求模型在视觉上分离它们再进行比较。这些操作让视觉推理从可选项变成了必选项。

GraphVerse 是一个专门为多模态大语言模型设计的视觉图推理基准。与以往将视觉图推理简化为“看图感知+文本推理”的评测不同，GraphVerse 通过四种以图为中心的图像编辑策略，强制模型必须直接在视觉层面进行图结构推理。该基准覆盖单图和双图两种设定，并引入过程敏感型指标 VGR-Score，不仅看最终答案是否正确，还评估推理步骤的质量。

论文对 19 个主流 MLLM 进行了系统评测，发现即便是最强的 Gemini-3-Pro，在复杂任务上的准确率也极低，而视觉推理错误在所有失败中占比最大。此外，利用 GraphVerse 数据进行强化学习训练，不仅能显著提升模型在图推理任务上的表现，还能迁移到 MathVista 等通用多模态推理基准上。

英文题目：GraphVerse: A Comprehensive Visual Graph Reasoning Benchmark for Multimodal Large Language Models

论文出处：arXiv 每日论文精选 · arXiv:2608.06769

原始论文：PDF / 论文页面

这篇论文解决什么问题？

图是描述关系系统的通用语言，从社交网络到分子结构无处不在。让 MLLM 直接从图中进行视觉推理，是检验其结构化理解能力的关键测试。然而，现有视觉图推理基准存在根本性缺陷：它们通常先让模型从图中提取文本信息，再基于文本进行推理，本质上仍是在做文本 QA。

这种设计导致两个问题。第一，模型可以通过文本捷径绕过视觉推理，评测结果无法反映真实的视觉理解能力。第二，现有基准大多只检查最终答案，忽略了推理过程是否正确。一个模型可能猜对答案但推理完全错误，这在传统指标下无法被识别。

此外，真实场景中的图推理往往涉及多图比较、局部聚焦、颜色编码等复杂操作，而现有基准缺乏这类设计。GraphVerse 正是针对这些空白而构建的。

论文将视觉图推理重新定义为三个层次：感知层（从图中提取节点和边）、视觉推理层（直接在图上进行空间和结构推理）、文本推理层（基于提取的信息进行逻辑推导）。GraphVerse 的设计目标是让视觉推理层成为不可跳过的必经之路。

核心创新

方法概览

GraphVerse 的核心洞察是：真正的视觉图推理，必须让模型无法绕过图像本身。为此，论文提出了四种以图为中心的图像编辑策略。比如，把图切成碎片打乱，模型必须先在大脑里拼回原图才能推理；或者把两张图叠在一起，要求模型在视觉上分离它们再进行比较。这些操作让视觉推理从可选项变成了必选项。

  • 数据构建：GraphVerse 从真实世界场景中收集图数据，包括分子网络、知识图谱、社交网络和交通网络等，覆盖多项式时间可解和 NP-Hard 两类计算复杂度的问题。所有图被渲染为图像，并配以自然语言问题。
  • 图中心图像编辑策略一——Image-Graph Patch Perturbation：将图图像切割为多个碎片并打乱位置，要求模型在视觉上重建图结构后再进行推理。这直接阻止了模型通过 OCR 提取文本后丢弃视觉信息的做法。
  • 图中心图像编辑策略二——Cross-Graph Composition：将两个不同的图并置或叠加在一张图中，要求模型在视觉上分离两个图结构并进行比较推理，如计算图编辑距离。
  • 图中心图像编辑策略三——Graph Attentional Focusing：通过高亮、框选或模糊等视觉提示，引导模型关注图的特定子结构，测试其能否根据视觉提示调整推理焦点。
  • 图中心图像编辑策略四——Spatially-Conditioned Recoloring：根据空间条件对图的节点或边进行重新着色，模型必须理解颜色编码规则才能正确推理，例如“红色节点表示度数大于 3”。
  • 任务设定：分为单图推理和双图推理两种。单图任务包括最长环检测、最大独立集等；双图任务包括图编辑距离计算、跨图模式匹配等。所有任务都有明确的真实答案和可验证的推理步骤。
  • VGR-Score 指标：不同于只看最终答案的 Accuracy，VGR-Score 使用 GPT-5.1 作为评判器，将模型的推理步骤与程序化生成的标准推理证据进行逐条比对。每个关键推理步骤被赋予权重，最终得分反映推理过程与最终答案的综合质量。
  • 评测规模：完整数据集包含约 11,000 个样本，论文使用分布匹配的 testmini 子集进行主要实验，涵盖 19 个 MLLM，包括开源模型和闭源 API 模型。

逐图理解论文

核心区分：视觉推理不能被绕过

核心区分：视觉推理不能被绕过
Figure 1: Design overview of GraphVerse. All tasks are grounded in real-world scenarios and span a broad range of complexity (bottom left). Unlike traditional VGR benchmarks (top), which collapse visual graph reasoning into perception followed by text-based inference, GraphVerse promotes vision-based reasoning through four graph- centric image editing strategies: (a) Image-Graph Patch Perturbation, (b) Cross-Graph Composition, (c) Graph Attentional Focusing, and (d) Spatially-Conditioned Recoloring. These strategies are applied across two settings, single-image and paired-image (bottom right). A scoring agent evaluates both reasoning process and final answer.

图 1 展示了 GraphVerse 的整体设计框架。上方对比了传统 VGR 基准与 GraphVerse 的差异：传统方法将视觉图推理简化为感知加文本推理，而 GraphVerse 通过四种 GIE 策略强制进行视觉推理。下方展示了任务来源的真实场景和两种评测设定。

GraphVerse 的贡献与验证方式

GraphVerse 的贡献与验证方式
Table 1: Overall performance of each MLLM across all tasks. Two evaluation metrics are reported: Acc (%) and VGR-Score (VGR-S). ↑indicates that VGR-S is higher than Acc, ↓indicates that VGR-S is lower than Acc, and the absence of an arrow indicates equality. – and – highlight the best score in each task.

表 1 列出了 19 个 MLLM 在所有任务上的 Accuracy 和 VGR-Score。注意观察 VGR-Score 与 Accuracy 之间的箭头标记：向上箭头表示 VGR-Score 更高，说明模型推理过程优于最终答案，这在困难任务上尤为明显。

最强结论与改进路径

最强结论与改进路径
Table 3: Performance comparison under training-free and training-based settings across four task categories. ↑ indicates absolute improvements over direct inference. The table reports acc only; VGR-S results are deferred to § E. For Gemini-3-Pro, we apply PoT and denote the variant as Coder. For GPT-5.2, we use Codex with PoT.

表 3 对比了训练无关和训练相关方法在四类任务上的 Accuracy 提升。重点关注 RL 训练带来的绝对提升幅度，以及 GIE 数据增强的消融效果。

实验如何设计？

  • 模型选择：覆盖 19 个主流 MLLM，包括 Gemini-3-Pro、GPT-5.2、Qwen3-VL 系列、LLaVA 系列等，既有开源也有闭源模型。
  • 评估指标：同时报告 Accuracy 和 VGR-Score，前者衡量最终答案正确率，后者评估推理过程质量。
  • 任务分类：按计算复杂度分为 Polynomial 和 NP-Hard 两类，以分析理论复杂度与视觉推理难度之间的关系。
  • 改进方法：测试两种改进路径——训练无关的 Program-of-Thoughts 提示和训练相关的监督微调与强化学习，其中强化学习使用 GIE 增强数据进行训练。
  • 迁移实验：将在 GraphVerse 上训练的模型在 MathVista 上进行评测，验证视觉图推理能力的可迁移性。
  • 失败分析：将模型错误分为感知错误、文本推理错误和视觉推理错误三类，通过人工标注和自动分类相结合的方式进行。

关键结果与论文证据

  • 整体表现差距巨大：最强模型 Gemini-3-Pro 在简单任务 Cycle 上达到 94% 准确率，但在 MCS 任务上仅 6%，所有模型的平均表现与人类基线相差约 35 个百分点（见 Table 1, p.6）。
  • VGR-Score 揭示隐藏问题：在困难任务上，VGR-Score 比 Accuracy 高出 30-40%，说明许多模型虽然最终答案错误，但推理过程部分正确，传统指标严重低估了模型的推理能力（见 Table 1, p.6）。
  • 视觉推理是主要瓶颈：失败分析显示，视觉推理错误在所有错误类型中占比最大，平均约 50%，且随着模型整体能力提升，这一比例反而增加——更强的文本推理能力让视觉瓶颈更加突出（见 Figure 3, p.8）。
  • 计算复杂度不等于视觉难度：模型在 Polynomial 和 NP-Hard 任务上的表现差异并不完全由理论复杂度决定，GIE 策略引入的视觉推理负担才是更关键的因素（见 Table 2, p.7）。
  • GIE 策略有效区分模型能力：不同 GIE 操作对模型的影响差异显著，雷达图显示 Cross-Graph Composition 和 Patch Perturbation 是最具挑战性的操作，能有效拉开模型间的差距（见 Figure 2, p.7）。
  • 强化学习带来显著提升：使用 GIE 增强数据进行 RL 训练后，Qwen3-VL-8B-Instruct 的准确率相比直接推理提升了 17.3 个百分点，且这一提升在 VGR-Score 上同样显著（见 Table 3, p.8）。
  • 迁移效果积极但有限：在 GraphVerse 上训练的模型在 MathVista 上获得 1.51% 的整体提升，尤其在几何和图表类题目上改善明显，说明视觉结构化推理能力具有一定通用性（见 Table 12, p.21）。
  • VGR-Score 可靠性得到验证：人类一致性研究显示，VGR-Score 与人工评分的差异很小，且在不同评判器设定下具有较好的稳定性（见 Table 9 和 Table 10, p.20）。

阅读时需要注意

  • 双图设定目前仅限于成对图像，未扩展到更一般的多图推理场景，这限制了基准对真实复杂场景的覆盖。
  • VGR-Score 依赖 GPT-5.1 作为评判器，尽管人类一致性较高，但 LLM 评判器固有的偏好和偏差无法完全消除。
  • 论文主文本中定性案例分析有限，对模型具体失败模式的深入展示不足。
  • testmini 子集虽然分布匹配，但样本量较小，可能无法完全反映完整数据集的方差。

关联工作

  • VisionGraph (Li et al., 2024) 是此前的视觉图推理基准，但其设计将任务简化为视觉感知后的文本推理，GraphVerse 通过 GIE 策略从根本上改变了这一范式。
  • GraphArena (Tang et al., 2025) 是纯文本的图计算问题基准，GraphVerse 填补了其在视觉推理维度的空白。
  • Visual Graph Arena (Babaiee et al., 2025) 关注布局引起的感知挑战，但仅使用答案级别的评估，缺乏 GraphVerse 的过程敏感型指标和丰富的视觉推理设计。
  • MathVista (Lu et al., 2023) 被用作迁移评估的目标基准，验证了 GraphVerse 训练的模型在通用多模态推理上的增益。

发表评论