矩形拼图的陷阱

JigShape：用拼图锁扣给大模型做几何推理体检，结果发现一道悬崖

作者

快速导读：提出JigShape基准，利用带凹凸锁扣的拼图块将视觉-几何联合推理转化为良定义问题，并揭示当前视觉语言模型在规模化几何推理上存在“悬崖式”性能崩塌。

视觉语言模型（VLM）在图像描述、视觉问答等任务上取得了显著进展，但它们在需要精确空间推理的场景下表现如何？JigShape 基准通过一个看似简单却极具挑战性的任务——拼图求解——来回答这个问题。与以往使用矩形切割的拼图基准不同，JigShape 引入了 tab-and-blank（凸起与凹陷）的几何锁扣设计，将拼图求解形式化为一个联合视觉与几何的良定义推理问题。

该基准包含超过 95,000 个实例，覆盖从 4×4 到 16×16 的四种网格密度。实验结果显示了一个令人警醒的“悬崖式”性能崩塌：即便是最强的零样本模型 GPT-5.5，在 8×8 网格上准确率也骤降至接近随机水平。更关键的是，消融实验表明，微调模型严重依赖几何形状线索，一旦移除锁扣结构，其性能便从 97% 暴跌至 10%，暴露出模型并未真正学会整合视觉内容进行推理。

英文题目：JigShape: Evaluating Visual-Geometric Reasoning in VLMs through Jigsaw Puzzles

论文出处：arXiv 每日论文精选 · arXiv:2607.27670

原始论文：PDF / 论文页面

这篇论文解决什么问题？

拼图求解天然要求同时处理局部视觉匹配和全局几何约束，是测试联合推理能力的理想平台。然而，现有的 VLM 拼图基准如 Jigsaw-Puzzles（Lyu et al., 2025）和 JPwLEG（Song et al., 2023）均采用矩形切割。在重复纹理区域，矩形切割会产生多个视觉上无法区分的拼图块，导致真值存在歧义，无法严格评估模型的推理能力。

此外，这些基准的网格规模极为有限，最大仅 5×5，无法测量模型随组合复杂度增加时的性能退化趋势。JigShape 的提出正是为了填补这一空白：通过 tab-and-blank 几何约束确保唯一真值，并将网格密度推至 16×16，从而系统性地探测 VLM 在规模化几何推理上的能力边界。

值得注意的是，JigShape 还提供了无形状（矩形）的消融版本，但仅限 4×4 网格。这是因为在更大网格上，矩形切割缺乏几何约束，真值歧义问题使得评估失去意义。这一设计限制本身也反映了矩形基准的内在缺陷。

从更广的视角看，JigShape 与 VSR（Liu et al., 2023a）等空间推理基准形成互补：VSR 测试基础空间关系（如左右、上下），而 JigShape 要求模型在密集排列的多个物体间进行一致性约束满足，难度呈指数级增长。

核心创新

  • 将拼图求解形式化为联合视觉-几何推理问题，通过tab-and-blank几何约束将病态视觉匹配任务转化为良定义推理问题。
  • 构建大规模基准JigShape，提供95K+实例，网格密度从4×4到16×16，并包含形状与无形状对照消融实验。
  • 全面评估了前沿视觉语言模型的零样本与微调性能，揭示了模型在规模化几何推理上的“悬崖式”性能崩塌及对几何线索的过度依赖。

方法概览

构建JigShape基准，包含95K+个实例，覆盖4×4至16×16四种网格密度。拼图块边缘采用凸起(tab)和凹陷(blank)的几何锁扣设计，结合视觉内容确保唯一真值。同时提供无形状（矩形）消融版本以隔离几何约束的贡献。

  • 拼图块设计：每个拼图块边缘采用 tab（凸起）或 blank（凹陷）结构，tab 必须与相邻块的 blank 精确匹配。这种几何锁扣结合视觉内容，确保了每个拼图实例有唯一正确的排列方案。
  • 网格配置：基准提供 4×4、8×8、12×12 和 16×16 四种网格密度。随着网格增大，拼图块数量呈平方增长（16×16 有 256 块），内部边缘数从 4×4 的 24 条增至 16×16 的 480 条，组合搜索空间急剧膨胀。
  • 数据集构建：从真实世界图像中裁剪生成拼图实例。每张源图像为每种网格尺寸生成一个实例。训练集、验证集和测试集按图像来源划分，确保无数据泄漏。
  • 形状消融：为 4×4 网格额外提供无形状（矩形）版本，用于隔离几何约束的贡献。更大网格的无形状版本因真值歧义而未提供。
  • 评估指标：主要指标为 Piece Accuracy（PA，单块位置准确率）和 Exact Match（EM，完全匹配率）。辅助指标包括 Adjacency Accuracy（AA，邻接准确率）和 Shape Compatibility（SC，形状兼容率），分别衡量局部一致性和几何约束利用程度。
  • 零样本评估协议：将打乱的拼图块以网格形式呈现给模型，要求模型输出每个位置应放置的拼图块编号。评估在 250 个样本上进行，覆盖所有网格尺寸。
  • 微调设置：对 Qwen3-VL-8B 和 Gemma3-12B 进行监督微调（SFT），训练数据包含所有网格尺寸的实例。还探索了加权微调（对困难样本加权）和视觉相似性提示等变体。
  • 线索基准：在 8×8 网格上，预先提供部分拼图块（n=4, 12, 20, 28, 60）的正确位置，仅评估剩余块的放置准确率，测试模型利用部分真值进行推理的能力。

逐图理解论文

矩形拼图的陷阱

矩形拼图的陷阱
Figure 1: Overview of JigShape. Left: Rectangular cuts create ambiguous ground truth in repeated- texture regions; our tab-and-blank constraints enforce local compatibility, yielding unambiguous solutions when combined with visual content. Right: Benchmark taxonomy with four grid densities (4×4 to 16×16) and shape vs. no-shape ablation for controlled evaluation.

图 1 展示了 JigShape 的核心设计理念。左图对比了矩形切割在重复纹理区域产生的歧义性真值，以及 tab-and-blank 几何锁扣如何通过强制局部兼容性来确保唯一解。右图呈现了基准的分类结构，包括四种网格密度和形状/无形状消融实验。

锁扣如何定义问题

锁扣如何定义问题
Figure 2: Example 12×12 puzzle instance from JigShape. Left: shuffled layout with 144 labeled pieces showing tab-and-blank edge shapes. Right: original source image representing ground truth. Geometric constraints (tabs must match blanks) enforce local compatibility, while visual content disambiguates pieces with identical edge signatures. See Appendix F for examples at other grid sizes.

JigShape 的核心创新在于给每块拼图加上了凸起和凹陷的几何锁扣，也就是 tab-and-blank 结构。凸起必须嵌入凹陷，这种物理约束让每个拼图实例有且仅有一个正确排列。这样一来，拼图求解就从模糊的视觉匹配，变成了一个良定义的联合推理问题：模型必须同时考虑图像内容的连续性和边缘形状的兼容性。

悬崖式崩塌

悬崖式崩塌
Table 4: Main results: Piece Accuracy (PA) and Exact Match (EM) on JigShape. Higher is better. All models evaluated on 250 eval samples per grid. Since frontier VLMs already perform poorly at the 12×12 grid, we omit the 16×16 evaluation for these models.

表 4 是论文的核心结果表，展示了所有模型在不同网格尺寸上的 PA 和 EM。可以清晰观察到从 4×4 到 8×8 的“悬崖式”性能崩塌：GPT-5.5 的 PA 从 69.65% 骤降至 5% 以下，其他模型更是在 4×4 上就已接近随机水平。

过度依赖形状的假象

过度依赖形状的假象
Table 6: Shape vs. No-Shape ablation on 4×4 puzzles. “Shape” uses tab-blank constraints; “No- Shape” uses rectangular pieces. ∆shows the improvement from shape constraints. PA: Piece Accu- racy (%), AA: Adjacency Accuracy (%), EM: Exact Match (%).

表 6 的消融实验结果揭示了模型对几何形状的过度依赖。移除 tab-and-blank 锁扣后，微调模型 Qwen3-VL-8B 的 PA 从 97.28% 暴跌至 10.00%，表明其几乎完全依赖形状线索进行匹配，而非真正理解视觉内容。

结论与局限

结论与局限
Figure 4: Example instances from JigShape. Left: shuffled puzzle layout with labeled pieces. Right: original source image. As grid size increases, the number of pieces grows quadratically, making constraint satisfaction exponentially harder. At 16×16, models must reason about 256 pieces with 480 internal edges.

JigShape 告诉我们，视觉语言模型在规模化几何推理上存在根本性瓶颈，它们过度依赖浅层几何线索，而非真正整合视觉与空间信息。不过也要注意，无形状消融只在 4×4 网格上进行，更大规模下的结论还需要更巧妙的设计来验证。以上就是这篇论文的核心内容，感谢收听。

实验如何设计？

  • 零样本模型：评估了 GPT-5.5、Claude Opus 4.8、Grok-4.2 等六种前沿 VLM 的零样本配置，覆盖 4×4 至 12×12 网格（16×16 因 12×12 已表现随机而省略）。
  • 微调模型：对 Qwen3-VL-8B 和 Gemma3-12B 进行 SFT，在全部四种网格尺寸上评估。
  • 形状消融：在 4×4 网格上对比形状与无形状条件下的模型表现，量化几何约束的贡献。
  • 位置分析：将拼图块按位置类型（角块、边块、内部块）分类，分析不同位置对准确率的影响。
  • 辅助实验：包括加权微调（inverse-accuracy weighting）、视觉相似性提示（将视觉相似的块着色分组）、以及线索基准（提供部分正确位置）。
  • 随机基线：为每种网格尺寸计算随机排列的期望 PA、EM、AA 和 SC，作为性能下限参考。

关键结果与论文证据

  • 零样本性能悬崖：GPT-5.5 在 4×4 网格上达到 69.65% PA 和 26.40% EM，是唯一超过随机基线的零样本模型（第 8 页）。但所有零样本模型在 8×8 网格上 PA 均低于 5%，性能崩塌至接近随机水平（第 8 页）。
  • 微调模型的规模退化：Qwen3-VL-8B 和 Gemma3-12B 在 4×4 网格上 PA 超过 97%，但在 12×12 网格上 PA 降至 5% 以下（第 8 页）。这表明即使经过专门训练，模型也无法维持跨越多块的一致性约束。
  • 几何线索的过度依赖：在形状消融实验中，GPT-5.5 的 PA 从 69.65% 降至 23.90%，微调模型 Qwen3-VL-8B 从 97.28% 暴跌至 10.00%（第 9 页）。微调模型几乎完全依赖几何形状，未能有效整合视觉内容。
  • 位置类型差异显著：角块（两条直边）最容易，内部块（零条直边）最难。随着网格增大，位置间的准确率差距进一步拉大（第 10 页）。
  • 加权微调适得其反：使用逆准确率加权来强调困难网格的微调策略，在所有设置下均比标准 SFT 表现更差（第 17 页）。
  • 视觉提示无效甚至有害：在 8×8 网格上提供视觉相似性聚类提示，未能帮助模型，甚至略微降低了性能（第 17 页）。
  • 部分线索利用效率极低：在 8×8 线索基准中，即使提供 60/64 块的正确位置，GPT-5.5 对剩余 4 块的 PA 也仅为 25%（第 18 页）。模型无法有效利用大量已知信息推断少数未知块。
  • 形状兼容率揭示策略差异：零样本模型的 SC 普遍较低，表明它们未能充分利用几何约束；微调模型的 SC 较高，但这主要源于对形状的机械匹配，而非深层推理。

阅读时需要注意

  • 微调模型过度依赖几何形状线索，在无形状消融中性能骤降，表明其学习到的是浅层模式匹配而非真正的联合推理。
  • 所有模型在 8×8 及以上网格上性能崩塌，当前 VLM 架构无法维持跨越多块的一致性约束满足，规模化几何推理仍是未解难题。
  • 无形状消融实验仅限 4×4 网格，因为更大网格的矩形切割缺乏唯一真值，这限制了关于几何约束贡献的结论在更大规模上的泛化性。
  • 16×16 网格仅评估了微调模型，零样本模型因在 12×12 上已表现随机而被跳过，可能遗漏了某些模型在极端规模下的意外行为。
  • 视觉相似性提示等辅助信息未能帮助模型，甚至损害性能，揭示出模型在处理空间密集、几何复杂输入时存在根本性的信息整合障碍。

关联工作

  • Jigsaw-Puzzles（Lyu et al., 2025）：现有 VLM 拼图基准，使用 2×2 和 3×3 矩形网格，缺乏几何约束，在重复纹理区域存在真值歧义。
  • JPwLEG（Song et al., 2023）：用于模型训练的拼图数据集，使用 3×3 和 5×5 带侵蚀间隙的矩形网格，同样缺乏几何锁扣。
  • Visual Jigsaw（Wu et al., 2025）：将拼图求解作为 VLM 后训练任务以提升视觉理解，但使用无几何约束的矩形切割。
  • VSR（Liu et al., 2023a）：评估 VLM 基础空间关系（如左右）的基准，发现模型在此类任务上存在困难，与 JigShape 形成互补。

发表评论