输出契约

GROUNDBENCH：多分辨率多边形定位暴露视觉语言模型的几何缺口

作者

快速导读：GROUNDBENCH 把同一批指称题改写成五个固定顶点数多边形目标，用固定分母交并比与合法多边形完成率审计托管视觉语言模型的输出几何缺口。

指称定位在 RefCOCO 家族上长期用二维框计分。框不贴边界，也不区分形状；当前沿托管视觉语言模型（LVLM）在难例队列上的框 Acc@.5 已接近九成时，分数几乎分不出谁更能“描”出物体。预印本 GROUNDBENCH（arXiv 2609.27821，未经同行评审）把同一批图像–表达–指称三元组改写成五个固定顶点数多边形目标，要求模型经聊天接口直接吐出精确长度的坐标序列，再用固定分母掩码交并比与合法多边形完成率做审计。

项目页为 https://co-minder.github.io/Groundbench。本文是评测基准，不是产品。下文数字只描述作者冻结的 1500 题队列与当时托管配置；框 IoU 与轮廓 IoU 使用不同参照时，不能把 headline 差距直接读成潜在几何损失。

英文题目：GROUNDBENCH: Multi-Resolution Polygon Grounding Exposes the Geometry Gap in Vision–Language Models

论文出处：arXiv 每日论文精选 · arXiv:2609.27821

原始论文：PDF / 论文页面

这篇论文解决什么问题？

指称表达定位把短语映射到图像区域。RefCOCO、RefCOCO+、RefCOCOg 建立在 COCO 上，主流指标仍是二维框。作者写到，前沿托管 LVLM 在其干扰物丰富的队列上可接近 90 Acc@.5，但他们不声称原分布已饱和（第1页）。

框输出契约的局限是：四个数字不携带形状、不跟随边界，还把背景内部算进命中。密集掩码能恢复形状，却通常需要专用分割解码器或外部模块，把多模态决策绑到另训的几何头上（第1页）。

因此作者研究中间表示：表达力足以暴露形状，又足够紧凑、文本化，能走与通用视觉语言交互同一接口。固定预算多边形同时考察三件事——在同类干扰中解析指称、推断可见边界、串行化恰好 N 个有序顶点。增大 N 增加容量，也拉长回复并放大重复点、自交、捷径与漂移（第2页）。

核心创新

  • 把多边形定位写成直接文本生成，并发布同一指称的五档匹配目标。
  • 固定分母分别审计填充区效用与合法多边形完成，不可解析计零。
  • 在托管配置上比较预算曲线与十三条件消融，分离格式、目标偏好与轮廓描边。
  • 用备选掩码与连续面积计分器复核排序，避免单评估器依赖。

方法概览

冻结 1500 个图像–表达–指称三元组（RefCOCO/+/g 各 500），从规范源轮廓用最长边中点插值或 Visvalingam–Whyatt 删点，确定性构造 N∈{8,16,24,32,64} 的精确预算目标；模型输出恰好 2N 个 0–999 整数坐标，经光栅化计算填充区 IoU，并单独审计合法多边形；另用十三条件网格做提示线索、图像证据与 thinking 消融。

  • 任务：给定图像 I、表达 r 与预算 N，模型输出恰好 N 个归一化点。提示要求一行 2N 个 0–999 整数；填充计分把坐标映回像素并光栅化裁剪后的循环填充；合法性要求顶点互异、在范围内、简单且面积为正，失败计零。起点与绕向不限，因为填充掩码 IoU 对循环移位与反向不变（第5页）。
  • 精确 N 目标构造（Algorithm 1，Figure 1）：从选定源轮廓出发，若顶点数不足则反复在当前最长边插入中点；若过多则按 Visvalingam–Whyatt 规则删去邻接三角形面积最小的顶点，直到恰好 N。并列部分取顶点最多的一块，影响 148/1500 UID（第5页）。
  • 队列：1500 个唯一图像–指称对，RefCOCO/+/g 各 500，每图一题。冻结干扰物档 D、轮廓复杂度 Q、相对尺度 RS、语义组、短语长度与复合难度标签；释放含 D1/D2/D3+ 共 705/276/519 题，无 D0（第2、5–6页）。
  • 评分双轴：固定分母填充区效用与合法多边形完成；不可解析一律零分。另报告可解析子集上的条件 IoU，以及 IoUp（源部分）、IoUn（保真归一）等变体（Table 1，第3页）。
  • 消融网格：在 Qwen 上冻结十三条件，覆盖真/假空间与颜色线索、无图、半分辨率、灰度、thinking 深度、温度与独立重复；图像干预另有 Gemini 复现（Tables 2–3，Figure 3，第5、8–9页）。
  • 稳健性：同一预测对未缩减部分、全部分并集、八个起点相位与连续面积积分重计分；备选掩码与连续面积后端使五预算均值最多偏移约 1.1 点且不改排序（第9页）。

逐图理解论文

输出契约

输出契约
Figure 1 | GROUNDBENCH freezes each image–expression–referent triple, derives five exact-budget targets, and scores exact-length outputs with a deterministic rasteriser.

第2页 Figure 1 流程。从左到右看：1 冻结斑马图与短语“the zebra behind the fence”；2 源轮廓绿线；A 框写明 V<N 时最长边插中点、V>N 时删最小面积顶点，直到 |G_N|=N；3 给出 N=16 红点目标；B 不可解析计零，可解析则红模型填充对绿参考算 mask IoU；4 叠红绿轮廓做评估。用它理解评测在改输出契约，而不是换题。

预算曲线

预算曲线
Figure 2 | Summary of Table 1: fixed IoU2, Acc@.5, parseable-only IoU, and pooled threshold accuracy.

第4页 Figure 2，四联总结 Table 1。(a)(b) 折线横轴为 8/16/24/32/64/Mean，红 Gemini 最高，Mean IoU 57.7、Acc@.5 69.2，且 N=64 全员下跌；(c) 可解析 IoU 热力图里 Gemini 一排最深，但 N=64 仍可见；(d) 池化 Acc@τ 从 .1 到 .9 迅速变浅，Acc@.9 均值仅 3.5。读图时先看 Mean 列再看高预算塌陷，不要把框分数画进这张图。

消融诊断

消融诊断
Figure 3 | Controlled fixed-IoU ablations. Diamonds mark controls; circles mark matched-image controls.

第8页裁切上为 Table 5 难度/干扰/复杂度/尺度/语义组切片，Gemini 多数加粗；下为 Figure 3 两栏柱图。左栏 No img 掉到约 14，Half/Grey 接近菱形基线 Bcue；右栏 Non（thinking-off）远低于 Bfull，温度与 Repeat 接近对照。菱形是控制，圆点是匹配图像对照。用它理解“证据与思考”比措辞微调更关键，且不要口播表内每个切片数字。

实验如何设计？

  • 主配置：Doubao Seed-2.0-Pro、Kimi K2.7 Code、Qwen 3.7 Plus、Gemini 3.5 Flash，五档 N∈{8,16,24,32,64} 全测；池化与均值对预算与配置取平均（Table 1，Figure 2）。
  • 配对控制：把预测框沿四边均匀采样成精确 N 多边形，与直接多边形在同一轮廓目标 G_N 上比较，避免框参照与轮廓参照混谈（第1、8页）。
  • 切片：复合难度 easy/medium/hard（436/554/510），以及 D、Q、RS、语义组（Table 5，Figure 3 上半表格裁入本 PNG）。
  • 诊断：目标偏好与条件轮廓描边拆分（Table 4），用来说明单一 IoU 不能单独代表选对实例或描好边界（第9页）。

关键结果与论文证据

  • （F1）几何缺口仍大。最强测试配置框 IoU 88.2、Acc@.5 97.1，直接多边形为 57.7 与 69.2；在同一轮廓目标上，Gemini 直接多边形与框衍生多边形池化 IoU 为 57.7 对 57.3，说明 headline 框–多边形差距不能直接当潜在几何损失（第1、8页）。
  • Figure 2 / Table 1：Gemini 固定分母 IoU 均值 57.7、Acc@.5 均值 69.2，领先 Qwen（46.8 / 54.0）、Doubao（42.7 / 45.3）、Kimi（33.9 / 28.4）。曲线在中等预算达峰，N=64 全员下滑（第3–4页）。
  • （F2）对 N 非单调，最密预算崩溃。Gemini 在 N=24 达 IoU 65.9、Acc@.5 79.6，N=64 落到 37.7 与 44.8；此时合法多边形覆盖/IoU 可落到 7.5/4.2，填充效用与合法完成被拆开（第3、8页）。
  • （F3）Qwen thinking 对比是最大的保输入配置差：max-thinking 均值约 49.0，thinking-off 约 17.4；去图均值约 13.5，半分辨率约 42.2，灰度约 47.5，接近无线索基线 48.4（Tables 2–3，Figure 3，第5、8–9页）。
  • （F4）线索不对称：错误空间暗示均值 24.3，错误颜色 39.2，真线索无可靠增益；温度与重复属二阶效应（第5、9页）。
  • 目标偏好可在高预算前保持较高，而条件轮廓描边才是持续分化项；难度切片呈一致的易到难下降（第9页）。

阅读时需要注意

  • 队列偏重同类干扰的 COCO/RefCOCO 设定，结论是受控输出审计，不是架构通论（第9页）。
  • 托管配置带时间戳，API 变更后数字不可外推为永久排名。
  • 作者强调坐标发射是压测，不是规定接口；掩码头、工具调用与压缩轮廓都是合法替代（第9页）。
  • 项目页与数据发布细节本次未逐项打开复核。

关联工作

  • PolyFormer 与交互式轮廓模型把边界写成顶点序列，但依赖专用训练；GROUNDBENCH 审计无任务微调托管 API（第3页）。
  • 从框到多边形的匹配改写，类似 ImageNet→ImageNet-V2、GLUE→SuperGLUE 等“同任务加难”路线（第4页）。
  • 空间评测套件多报告感知与关系弱点；本文要求可度量的稠密几何产物，而不是类别判断（第4页）。

发表评论