DeskForge：从桌面环境生成电脑操作智能体的稠密监督

快速导读：DeskForge 用可控真实桌面生成稠密标注与点击转移，微调后同时提升 GUI 定位和长程电脑使用。

电脑操作智能体必须在复杂桌面上把动作落到正确控件：多应用同屏、窗口叠压、外观相近的按钮会争夺注意力，同一应用换内容或换位置后目标还会变。现有训练资源很少同时给出完整桌面场景、稠密标注，以及可控的外观与布局变化。DeskForge（arXiv:2610.02320，ETH Zurich、IBM Research Zurich、Microsoft）的核心想法是生成桌面本身，而不是事后录一段固定屏幕：在 Linux 上配置并探索真实应用，把截图、无障碍树与窗口几何融成稠密元素标注，并记录每次点击的前后状态。项目页为 https://saidgurbuz.github.io/deskforge/ 。

用该环境构建的 DeskForge-1M 含 121 万张标注桌面观测、1.597 亿个元素实例，以及 91.7 万条点击转移。作者从中抽取 20 万条 grounding 样本，对四个视觉语言模型做 LoRA 微调。四个模型在全部留出桌面条件与五个外部 GUI 定位基准上都提升；Qwen3.5-4B 在 ScreenSpot-Pro 上提高 11.51 个百分点、在 OSWorld-G 上提高 10.11 个百分点。固定 Qwen3.6-27B 规划器只换动作模型时，Qwen 在 119 题 WebArena-Infinity 上从 31 题升到 50 题，在 100 题 OpenApps 上从 3 题升到 15 题。预印本尚未同行评审。

这篇论文解决什么问题？

桌面界面是组合的：应用窗口、对话框和系统控件共处同一屏幕。智能体不仅要认出相关控件，还要把它从相似元素和跨应用干扰项里分开。同一应用可以显示不同内容，也可以在多窗口布局里占据不同位置。因此训练资源需要覆盖完整桌面场景、保留结构细节，并允许系统变化桌面配置。

相关工作从结构化截图语料、大规模 grounding、合成界面到人工演示都在扩展 GUI 监督，可执行环境则用于受控任务评测。静态语料无法再变化已拍场景，多数标注孤立应用或单个目标，可执行环境又面向任务评估而非稠密屏幕标注。Table 1 把 UGround、WinDeskGround、MolmoPoint-GUISyn、AgentNet、GroundCUA、ScreenParse、OS-Atlas、ScaleCUA 与 DeskForge 并排：所列资源中，只有 DeskForge 同时具备稠密标签、多应用场景、可配置环境、可见性几何和记录转移。WinDeskGround 用抓取窗口图做静态合成，不能继续执行动作；GUIrilla 通过无障碍 API 探索运行中的应用，但按应用单独处理。DeskForge 则在共享桌面场景里配置并探索多个应用。

核心创新

• 把真实应用放进可配置共享桌面，系统变化布局、外观、内容与分辨率。
• 融合截图、无障碍树与窗口几何，保留可见性几何和点击转移。
• 从记录交互构造单步 grounding 指令，并验证外部定位与固定规划器下的长程收益。

方法概览

DeskForge 是 Linux 桌面环境。场景规格选择应用与初态、内容、窗口布局与叠放、七套外观和七种分辨率，并在隔离会话里启动真实应用。标注管线调和 AT-SPI 树、截图和窗口几何，写出元素几何、文本、可见矩形并集、层级、归属与交互属性，再用 ScreenTag 序列化。探索在可见区域内采样点击，记录 (St, at, St+1)。Qwen3.6-27B 根据前后观测写成单步自然语言指令，后继帧不进入 grounding 模型。由此得到 DeskForge-1M：121 万观测、1.597 亿元素、91.7 万点击转移。微调用其中 20 万 grounding 样本。

• 每个桌面场景由一份规格定义：选择应用与初始状态、准备内容、设定窗口布局与叠放、外观和显示分辨率。采样权重控制各设置出现频率，布局约束给出可行的多窗口排列。应用通过清单加入，需提供启动命令、预置内容和脚本化初态，并要求无障碍树能暴露主要界面。七套外观预设覆盖经典 Linux、Ubuntu-like、Windows-inspired 与 macOS-inspired，含浅色与深色；它们配置运行中的桌面与工具包，改变控件外观、图标和面板或 Dock，而不仅仅换壁纸。全部预设共用 Linux 执行后端，只复现选定视觉惯例，并不运行原生 Windows 或 macOS 应用。分辨率从 1366×768 到 3840×2160 共七档。
• 标注管线同时使用截图、无障碍观察和实测窗口关系。输出覆盖元素类型、文本、几何与交互属性，以及父子结构、阅读顺序、应用与窗口归属。无障碍报告的动作和控件状态，如是否启用、选中或展开，补充视觉标注。几何 refinement 与裁剪考虑元素边界、祖先容器、视口、重叠窗口和瞬时浮层。对部分被盖住的元素，可见支撑写成矩形并集，只把露出部分当作有效点击区。无障碍名称与屏幕上实际文字分开：字符几何和像素检查判断哪些文字真正露出，图标的语义名不会自动当成渲染文字。无障碍树漏掉的部分桌面控件则从窗口几何恢复。可见、去冗余的标注视图用于屏幕解析和 ScreenTag 序列化；环境另外保存隐藏元素及其可见性状态。自动审计剔除 4.7% 不一致或过稀的捕获，人工抽查认为 99.8% 的元素标注正确。
• 探索按元素采样，在估计的可见区域内执行点击，而不是按预定义任务目标走。转移 (St, at, St+1) 把前后屏幕、执行动作、目标元数据和效果摘要连起来。构造 grounding 样本时，用视觉语言模型看前后观测和目标上下文，写一条单步指令；指令经过筛选，必须能从点击前截图识别目标，且不得引用坐标或标注标记。后继观测只用于写指令，不提供给 grounding 模型。为引入措辞变化，作者用 Qwen3.6-27B 把同一单步目标写成简洁、标准和更语境化的三种说法。人工抽查中 97.8% 的指令被判定为合理。

逐图理解论文

监督缺口

图1是 DeskForge 与 DeskForge-1M 总览，宜作特色图。页眉有 Preprint。四列从左到右为青色 (a) Configure、紫色 (b) Environment、青绿 (c) Structured Screen State、橙色 (d) DeskForge-1M。(a) 列出 19 applications、7 visual presets、7 resolutions、Composed layouts 与 6 content profiles，旁有 VS Code、浏览器、文件夹等图标。(b) 由 seed s 配置 5 applications、quartz_night、1920×1200，调用 reset(seed) 与 step(click)，中间是深色多窗口桌面截图。(c) 把 Screenshot、AT-SPI tree 与 Window stack 相加，经 Geometry refinement、occlusion resolution 和 Pixel-verified text，得到类型与层级、归属与可见性、核验文本和交互属性。(d) Dense states 配 ScreenTag 标记，写 1.2M screenshots 与 159.7M elements；Transitions 用前后截图表示 (St, at, St+1)，并标 917K click transitions。

语料构成

图3是 DeskForge-1M 语料构成，覆盖全部 121 万观测。左栏 Density 直方图横轴为每屏标注元素数，截断在 400，橙色虚线标 median 121、mean 132，正文写最大 1161。中栏 Composition 是打开应用窗口数的柱状图，0 和 1 为灰柱，2 及以上为蓝柱，旁注 91% carry two or more，与正文 90.9% 至少两应用一致。右栏 Occlusion 是超过 x% 元素被遮挡的观测占比曲线，起点附近标注 98% contain a covered element，与正文 97.7% 含遮挡元素一致；近一半观测超过 30% 元素受影响。页眉同样有 Preprint。

Figure 2: Appearance variation within DeskForge

图2展示 DeskForge 内部的外观变化，2×2 桌面截图。左上 Ubuntu-like preset：Ubuntu 风壁纸，底部 Dock，并排代码编辑器、文本窗口和表格。右上 Windows Redmond preset：蓝紫抽象壁纸，购物页写 Fall arrivals，旁有表格窗口，底栏更像 Windows 任务栏。左下 macOS Tahoe-like preset：草地壁纸，左侧彩色图标 Dock，表格窗口叠加提示 This collection seems to be empty。右下 Quartz Night preset：麦田壁纸、左侧 Dock，多层深色窗口叠在一起，可见 Python 与 Project Notes、日历。作者强调这些预设改变应用样式、图标、窗口装饰和面板或 Dock 布局，而不只是换背景。

实验如何设计？

• DeskForge-1M 含 121 万标注观测、1.597 亿元素实例，覆盖 19 个应用、七套外观和七种分辨率。观测分成约 32.4 万个场景，含单独捕获和交互片段，以及 91.7 万条点击转移。元素计数来自可见标注视图，每个观测每个元素计一次，总量约为 Table 1 中最大资源的 7.6 倍。图 3 显示场景稠密而杂乱：平均 132 个标注元素、中位数 121，最多 1161；90.9% 记录至少两个应用，97.7% 含被遮挡元素，近一半观测里超过 30% 的元素受影响。这些统计描述桌面上下文，而不是 grounding 所选目标本身的可见性。
• 训练、验证和测试按场景划分，同一场景的交互帧和重拍放在一起。四个测试条件分别是：属性已出现过的新场景 New Scenes、含留出应用的 App、预留外观 Theme、预留分辨率 Resolution。应用划分留出 GNOME System Monitor、Pluma 与 Xarchiver，并按场景中出现过的全部应用判定，避免留出应用从另一帧漏进训练。外观划分预留 Quartz Night Nord，分辨率划分预留 2880×1800。Grounding 实验使用固定的 20 万训练样本，每条把点击前截图和一条合成指令与记录目标配对。
• 微调模型为 Qwen3.5-4B、Gemma4-E4B IT、InternVL3.5-8B 与 GUI 专用的 UI-R1-3B，均用 LoRA，在 20 万单目标 grounding 视图上训练。前三个是通用视觉语言模型。同一对基线与微调之间，提示、图像预处理、解码和计分固定。定位准确率看预测点是否落在标注目标区域内，非法输出计错。DeskForge 用标注可见区域，外部评测用各基准自己的标注。除非另说明，微调用八张 NVIDIA H100、一个 epoch、有效全局 batch 64。下游任务把 Qwen3.6-27B 规划器固定，只改动作模型权重，评自定义 119 题 WebArena-Infinity 面板和 100 题 OpenApps 更长程集合。

关键结果与论文证据

• Table 2 上四个模型在全部留出条件都提升。Qwen 的四条件均值从 76.26% 升到 87.54%，UI-R1 从 38.01% 到 84.59%，微调后的 Gemma 与 InternVL 分别到 85.12% 与 81.42%。附录显示，屏幕上应用从 1 个增到 4 个及以上时，微调 Qwen 只掉几个点，而其基线与最强参考模型 UI-Venus-2-9B 持续下滑，与基线的差距从 9.7 扩大到 14.3 个百分点；目标可见面积损失升到 35% 时，差距从 10.9 扩到 13.7 个百分点。
• 五个外部基准 ScreenSpot-Pro、ScreenSpot-v2、OSWorld-G、UI-Vision、MMBench-GUI 都不用于微调，平台覆盖 Windows、macOS、Linux、移动和网页，并含 DeskForge 未运行的 CAD 与创意软件。Table 3 上四个模型在五个基准全部提高。Qwen 在 ScreenSpot-Pro 从 30.17% 到 41.68%，OSWorld-G 从 51.24% 到 61.35%；Gemma 五基准均值提高 24.9 个百分点。UI-R1 的 ScreenSpot-Pro 从 14.48% 到 27.20%，五基准均值从 39.87% 到 47.14%。InternVL 也全升，均值只高 1.51 个百分点。ScreenSpot-v2 拆分显示 Qwen 与 UI-R1 在桌面提升最大，但移动和网页也升，尽管语料不含移动屏。
• Table 4 中四个微调动作模型在两个环境都解出更多题。Qwen 在 WebArena-Infinity 从 31 到 50，OpenApps 从 3 到 15；Gemma 在 Infinity 面板从 5 到 40。虽然微调用的是单步 grounding 而不是任务轨迹，固定规划器的决策在连续观测上执行得更成功，且发生在与组合桌面不同的浏览器环境里。稠密标注还可训练全屏元素检测：在 GroundCUA 上，RT-DETRv4-L 的 group F1 为 62.17%，高于 OmniParser v2 的 58.55% 和 ScreenParse YOLO11L 的 57.59%。

阅读时需要注意

• 当前采集使用 Linux 后端，并依赖具备合适无障碍支持的应用。更广的应用接入、原生平台后端，以及补充性的视觉标注，才能覆盖暴露结构更少的界面。
• 视觉语言模型训练聚焦单目标 grounding，界面结构与记录状态变化的联合学习仍是下一步。保留的转移记录可用于正向与逆向动力学目标。面向目标的多应用任务与基于状态的校验，也尚未做成在线长程智能体训练。
• 外观预设只复现视觉惯例，并不执行原生 Windows 或 macOS 应用。外部基准的公开检查点使用各自推理协议，不宜与等算力微调对直接混比绝对值。预印本未同行评审。

关联工作

• Rico 与 WebUI 把截图分别配上移动视图层次和网页元数据。Pix2Struct 从遮挡截图预测简化 HTML，ScreenParse 提供稠密网页标注并引入本文采用的 ScreenTag。GroundCUA 把稠密、人工核验标注带到专家桌面工作流，但仍偏单个网页、移动屏或应用，而不是组合多应用桌面。
• UGround 从网页结构合成指称，Jedi 与 MolmoPoint-GUISyn 走分解、合成或生成 HTML。OSWorld、WebArena、OpenApps、CUA-Gym、WebArena-Infinity 连接动作与任务结果。DeskForge 把组合与交互放进正在运行的桌面，同时收集稠密标注和观察到的点击结果。
• Mind2Web、AgentNet、VideoCUA 与 GUI-360 提供演示或自动轨迹。OS-Genesis 先探索再回溯派生任务。DeskForge 用这种交互优先路线，从记录点击和前后观测构造单步 grounding 指令，并把转移留下来给其他学习目标。