HiFi-UMI：仅凭高保真数据实现零真机后训练

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

HiFi-UMI：仅从高保真 UMI 数据学习可部署操控策略

Simple AI

学习可部署操控策略的瓶颈在于缺乏既高保真又具可扩展性的数据。真机遥操作准确但扩展成本高昂；无机器人 UMI 采集易于扩展，而当前实践主要将所得数据用于预训练，并在后训练阶段加入少量真机“锚点”。我们探讨是否通过提升无机器人 UMI 数据的保真度（而非缩减真机比例）来消除该锚点。我们提出 HiFi-UMI，一种便携式 UMI 数据采集系统，协同设计硬件与软件以优化轨迹精度、夹爪间相对位姿、同步性及视场：采用头戴式离线立体惯性 SLAM、原生而非重建的相对位姿、共享微秒级 GPIO 触发信号，以及每只手配备覆盖约 200◦ 的双广角相机。该系统无需外部跟踪基础设施即可实现 3 mm 工作空间局部末端执行器精度。利用该数据集，我们展示了零机器人后训练：仅使用 HiFi-UMI 演示数据后训练的策略可直接部署于真机，并在 StarVLA-QwenPI、OpenPI-π0.5 和 LingBot-VA 三个视觉-语言-动作（VLA）及世界-动作模型（WAM）骨干网络上，分别达到与遥操作基准相当的成功率，差异分别为 -2.5、+3.1 和 -0.6 个百分点；最强策略在精密插入任务上达到 85% 的成功率——尽管遥操作基准是在评估场景中收集的，而 HiFi-UMI 轨迹并非如此。在同一数据集的 4,000 小时数据上进行预训练，使十个未见任务的动作误差降低 41%，并在 StarVLA-QwenPI 上使真机成功率进一步提升 18.1 个百分点。我们开源 HiFi-UMI-2K——2,000 小时微秒同步、超广角视场的演示数据，每条轨迹均通过仿真重放自动重建和验证——作为机器人学习社区的大规模高保真资源。[cs.RO] 网站：https://cloud.simpleai.tech/simple-world-lab/hifi-umi/ 数据集：https://huggingface.co/datasets/simple-world-lab/HiFi-UMI-2K

1 引言

学习可部署操控策略的瓶颈已不再是模型容量，而是数据。获取可部署技能的主流范式是在真机上进行遥操作演示 [1–3]，这能产生完美具身、可直接训练轨迹，但扩展成本高昂：每收集一小时数据，都需要目标机器人、遥操作支架和熟练操作员。近期工作表明该成本随规模急剧上升：AgiBot World 在专门建造的 4,000 m² 设施中，利用 100 台双臂人形机器人组装了 2,976 小时操控数据 [4]；RoboMIND 在四种不同形态上组装了 305 小时数据，每种形态都需要为其手臂量身定制的遥操作硬件 [5]。因此，社区日益转向更廉价、无需机器人的操控数据来源。

通用操控接口（UMI）[6] 是其中最突出的代表：一种手持式仪器化夹爪，允许人类在无机器人介入的情况下收集野外演示，成本仅为遥操作的一小部分。UMI 及其衍生版本已促成大规模演示语料库 [7] 甚至模仿学习的数据扩展研究 [8]。然而，当前手持采集继承了一系列保真度缺陷，限制了此类数据的可信度。位姿通常通过在线视觉（-惯性）SLAM 恢复，其在长时域下会产生漂移，并在低纹理或运动模糊下失效 [6, 9]；夹爪间相对位姿

1

第 2 页

HiFi-UMI 数据采集：高保真数据引擎与学习部署 > 98% 纯 UMI 零机器人遥操作，3 mm 轨迹精度 轨迹精度重建 成功率 VLA WAM 40 μs 同步 > 98% 超宽重放成功率 6 视角感知 轨迹重建与重放 直接真实机器人部署

20000+ 小时 UMI 数据 2000+ 小时发布 480+ 场景 HiFi-UMI

真实机器人评估

零机器人后训练 (VLA) 零机器人后训练 (WAM) 支持可扩展预训练

图 1 HiFi-UMI 概览：一种用于可扩展操控数据采集、高保真数据处理及直接真实机器人策略部署的无机器人框架。HiFi-UMI Capture 结合了 3 mm 轨迹精度、微秒级同步和超宽六视角感知。由此产生的数据由 HiFi-UMI 数据引擎进行重建、重放、质量检查、标注和整理，该引擎已收集超过 20,000 小时、涵盖 480 多个场景的数据，发布了整理后的 2,000 小时 HiFi-UMI-2K 子集，并实现了超过 98% 和 98% 的轨迹重建与重放有效性（累计约 96%）。整理后的语料库支持 VLA 和 WAM 策略的预训练和后训练，无需针对目标任务使用任何遥操作机器人数据，从而实现直接在真实机器人上部署。仅使用 HiFi-UMI 的后训练在所有三个骨干网络上均与域内遥操作表现相当，两种 VLA 策略的差异最多为 3.1 个百分点，WAM 策略的差异为 0.6 个百分点。此外，保留动作预测误差随预训练数据量的增加而持续下降，遵循清晰的幂律缩放趋势（α = 0.268，R2 = 0.993）。

轨迹并非原生测量，而是通过跨相机共视重建，这在最关键的协调任务中引入了误差；传感器流使用软件或无线对齐而非硬件触发；每只手的一个 155◦ 手腕鱼眼镜头存在盲点且深度线索较弱 [6, 9]。

这些限制并非偶然——正是由于这些限制，整个领域中的无机器人数据主要局限于预训练角色，而真实机器人遥操作被认为是部署前对策略进行接地后训练所必需的 [10, 11]。即使是最激进的近期减少遥操作的努力也保留了这种分工。基于便携式 VR 的系统 ActiveUMI [12] 和 XRZero-G0 [13] 将真实机器人部分减少为更大无机器人语料库中的一小部分，但均未消除它。RDT2 [14] 仅从无机器人数据中获得零样本跨形态迁移，但一旦需要特定机械臂的部署级性能，便会混合真实机器人数据。然而，目前尚不清楚后训练是否真正需要真实机器人数据，或者是否仅仅是因为迄今为止可用的无机器人数据保真度不够高。

我们询问是否足够高保真的 UMI 数据能打破这种分工。我们提出了 HiFi-UMI，这是一种端到端设计用于保真度、可重放性和自动整理的便携式数据生产系统（图 1），以及

2

第 3 页

头部相机全局视图

\ 4mm

z x y

(a) 通过 HiFi-UMI 进行笔写 (b) 重建的 3D 末端执行器

头部相机 视图

笔尖 特写

3D 轨迹 重建

t1 t2 t3 t4 t5 t6 帧

(c) 时间对齐的重建序列

图 2 书写任务中 3D 轨迹重建的定性可视化。(a) 使用 HiFi-UMI 捕获的书写演示的第一人称观察。(b) 重建的 3D 末端执行器轨迹，以全局视图和书写字符的放大视图显示。小写字母“e”标记的 4 毫米宽度为重建书写的尺度提供了空间参考。(c) 在六个同步时刻 t1–t6 的时间对齐可视化，包括相应的头部相机观察、笔尖特写和累积的 3D 轨迹重建。

我们用它来测试一个故意很强的假设——我们称之为零机器人后训练（zero-robot post-training）：即仅使用高保真无机器人数据进行后训练，就能产生可直接部署在真实机器人上的操控策略，而无需在后训练中使用任何遥操作真实机器人数据。这将问题从混合比例转向别处。先前的工作通过缩小真实机器人比例至一个虽小但非零的锚点来接近遥操作基线，而我们询问的是，提高无机器人数据本身的保真度——使其轨迹、夹爪间姿态和时间与遥操作一样可靠——是否足以完全消除对该锚点的需求。图 2 使这种保真度具象化：我们的离线重建足以很好地保留书写轨迹，从而呈现可辨认的毫米级笔画。

HiFi-UMI 解决了上述每一个缺陷。姿态保真度来自头部安装的立体离线 SLAM，它产生低漂移的长视距轨迹，以及通过与双手的世界帧姿态联合获得的原生准确的夹爪间相对姿态。感知保真度来自通过单个共享 GPIO 硬件触发器在所有传感器之间实现微秒级同步，以及超宽视场——两个非平行立体相机覆盖水平约 200◦ 和垂直超过 200◦。另外两个选择针对交互本身和产生可用数据的成本：全掌手套形式因素比触发夹爪更好地保留了操作者的自然力和接触；以及带有原位数据质量监控的实时在线切片，它在收集过程中而非收集后捕获捕获异常。这些共同将手持捕获转变为生产级数据引擎，自动重建、重放、质量检查、标注和整理每个演示——轨迹重建和重放验证均通过 98%，累积 98%×98% ≈96%——正是该引擎的输出，而非其他任何东西，我们要求它承载策略直至部署。相同的 HiFi-UMI 语料库同时提供预训练和后训练，产生直接在真实双臂机器人上运行的策略，而无需

3

第 4 页

遥操作后训练数据。这些阶段对应图 1 的三个面板。

该假设在我们进行的每一项比较中都成立。在跨越视觉-语言-动作 (VLA) 和世界-动作模型 (WAM) 家族的三个骨干网络上，仅使用 HiFi-UMI 进行后训练的表现与域内遥操作相当：差异分别为 -2.5、+3.1 和 -0.6 个百分点，符号各异且均在协议的采样噪声范围内。即使在有利于基线的非对称条件下（遥操作数据是在评估场景中收集的，且没有 HiFi-UMI 轨迹），最强策略在精密插入任务上仍达到 85% 的成功率。由于此类声明的有效性取决于其背后的评估，每项比较均在评估开始前冻结的基准下进行，测试实例的构建与策略执行分离，策略顺序随机化，并记录终止原因；六种条件总共进行了 960 次真实机器人 rollout。使用同一语料库的 4,000 小时数据进行预训练，随后在十个未见任务上将动作误差降低了 41%，并在 StarVLA-QwenPI 上将真实机器人成功率进一步提高了 18.1 个百分点——且这种迁移的结构本身具有信息量，它追踪的是预训练混合数据中交互动态的覆盖情况，而非测试对象是否曾被见过。据我们所知，我们提供了首个受控演示，证明无需真实机器人数据的手持式机器人后训练，在相同机器人上匹配域内遥操作，并在三个骨干网络上得到复现。我们将保真度视为该结果背后的设计原则，而不是通过受控退化隔离的变量，并将这种消融实验——清晰地将保真度与样本数量和场景覆盖范围分离开来——留待未来工作。

总之，本工作的主要贡献如下：

• 一个数据生产系统，其软硬件协同设计解决了先前手持采集在轨迹精度、夹爪间位姿、同步性和视场方面的不足：头戴式离线立体 SLAM 和共享 GPIO 触发器提供了 3 毫米的末端执行器精度和微秒级的跨传感器对齐，无需外部跟踪基础设施；自动化引擎重建、回放并验证每个演示，将 96% 的原始捕获保留为可执行机器人数据。

• 证明仅 HiFi-UMI 就足以进行后训练：在三个 VLA 和 WAM 骨干网络上，仅 UMI 后训练在相同机器人上匹配域内遥操作（-2.5、+3.1 和 -0.6 个百分点），尽管原生样本数量存在差异，所有差距均在采样噪声范围内。

• 在同一无机器人语料库上进行预训练提高了下游后训练的数据效率和上限：在 StarVLA-QwenPI 上，4,000 小时数据将十个未见任务的离线动作误差降低了 41%，并在匹配后训练数据的情况下，将真实机器人成功率提高了 18.1 个百分点，仅用四分之一的任务数据就达到了从零初始化的基线水平。迁移更多取决于预训练是否覆盖了任务的物理交互类型，而非其对象是否曾被见过。

• HiFi-UMI-2K，一个开放的 2,000 小时、微秒同步、可回放、超广角视场的子集，由同一管道生成，用于部署级后训练，无需真实机器人遥操作。

2 相关工作

2.1 操作数据集

操作数据集现在涵盖了从完全接地（grounded）的机器人演示到可扩展但弱接地的视频的范围。在高保真端，真实机器人遥操作语料库仍然是可部署策略学习的标准基础：BridgeData V2 [2] 和 RH20T [15] 建立了大规模多任务和模态收集，DROID [3] 强调跨场景和操作员的野外多样性，Open X-Embodiment [16] 聚合了异构机器人数据集以研究跨具身迁移。最近的努力如 RoboMIND [5]、RoboMIND 2.0 [17] 和 AgiBot World [4] 推动这一制度向更大的轨迹规模发展，具有更强的标准化、质量控制、双臂和移动设置以及更丰富的感官流。在另一端，以自我为中心的人类视频语料库如 Ego4D [18] 和 Ego-Exo4D [19] 提供了规模和自然性，但缺乏可执行的机器人动作，而 EgoDex [20] 通过以操作为中心的视频和配对的 3D 手部姿态注释缩小了这一差距。

在这两个极端之间，UMI 风格的数据作为一种独特的中间层级出现，即无机器人但动作接地（action-grounded）的监督。UMI [6] 引入了便携式手持夹爪，用于收集低成本、信息丰富的演示

第 5 页

无需机器人本体即可进行演示，从而直接迁移到与硬件无关的策略。FastUMI-100K [21] 和 RDT2 的 10,000 小时语料库表明，这种配方可扩展至与最大规模遥操作努力相媲美的语料库；我们将其对应的设备推迟至第 2.2 节讨论。这种层级结构自然被视为数据金字塔 [10]：网络和人类视频提供规模，遥操作提供特定具身的地面真值，而 UMI 风格的演示占据中间位置，它在无需特定机器人采集的情况下，保留了可操作的腕部视角几何结构和相对末端执行器运动。我们的工作直接针对这一中间层级：通过提高 UMI 数据的保真度、同步性和重映射能力，我们测试无机器人手持演示是否不仅能作为可扩展的预训练数据，还能作为部署相关的监督信号。

2.2 UMI 与便携式数据采集设备

通用操控接口 [6] 引入了一种手持式仪器化夹爪，通过 ORB-SLAM3 和 IMU 恢复全局尺度的末端执行器轨迹，每个夹爪使用一个腕部安装的 155◦ 鱼眼相机，并辅以侧镜实现隐式深度感知。它是日益增长的便携式采集设备家族的基础。表 1 从以下关键维度对其进行了比较：位姿获取与精度、跨传感器同步、感知覆盖范围、夹爪间相对位姿是原生测量还是重建、夹爪形态因子以及便携性。FastUMI [7] 用现成追踪器替换了专用 SLAM，提高了鲁棒性并扩展了采集规模。其继任者 FastUMI Pro 是 VISTA [22] 使用的采集平台，它将外部灯塔追踪器与机载视觉惯性 SLAM 融合，以固定基础设施为代价实现了毫米级位姿。DexCap [23] 和 DexUMI [24] 通过动作捕捉手套和可穿戴外骨骼将采集扩展到灵巧手，而 DexWild [25] 则扩展了用于灵巧策略的野外人类手演示。ARCap [26] 添加了头显内增强现实反馈，以确保演示在运动学上有效，而 AirExo [9, 27] 等外骨骼系统则追求无需机器人的整臂采集。另一条并行路线将头部相机与手部采集相结合——EgoMimic [28] 和 H-RDT [11]——以获取动作信号。

尽管取得了这些进展，保真度限制在这些设备中仍然普遍存在，且消费无机器人数据的方法仍依赖于配对的机器人演示。AirExo-2 [9] 明确指出手持式 UMI 风格设备的缺点归因于两个原因：依赖视觉 SLAM 进行位姿估计，导致动作不准确；以及有限的相机视场，阻碍了深度感知。原始 UMI [6] 同样指出了 SLAM 和尺度模糊失败、采集与推理之间的延迟差异以及受限的单相机覆盖范围。关键在于，即使利用人类或第一人称数据进行学习的方法，仍然依赖于配对机器人数据：EgoMimic [28] 与遥操作演示共同训练，而 H-RDT [11] 在人类预训练后在机器人数据上进行微调。在此类工作中，无机器人数据并未被要求独立地为可部署策略提供基础。

最近的一项工作用夹爪外部的追踪基础设施（无论是操作员佩戴的头显还是放置在房间内的基站）替换了机载手持 SLAM。ActiveUMI [12] 将机器人夹爪的副本刚性安装在 VR 控制器上，并记录操作员头部运动和第一人称注意力。XRZero-G0 [13] 将头显追踪与两个专用夹爪以及闭环质量检查管道配对，以构建大型无机器人数据集。这些系统提高了追踪鲁棒性，并且像我们的工作一样，原生恢复夹爪间相对位姿，因为头显同时观察两个控制器。它们剩余的设计选择在影响保真度的方面与我们的工作不同。位姿来自在线头显追踪而非离线 SLAM 优化；传感器流通过软件时空匹配而非硬件触发器进行对齐；覆盖范围来自少量离散相机视角而非超宽立体光学。它们将真实机器人部分减少为更大无机器人语料库中的一小部分，但并未消除它。RDT2 [14] 则将重新设计的 UMI 硬件扩展至超过 10,000 小时，并在简单的开放词汇任务上实现了零样本跨具身迁移，无需真实机器人数据。仅当需要特定机械臂的部署级性能时，它才在可选的后训练变体中混合少量真实机器人数据。然而，该硬件使用外部红外基站而非机载 SLAM 来追踪末端执行器，因此每个采集站点必须先进行仪器化。最接近我们设置的是 VISTA [22]，它仅在精心策划的手持数据上对双臂策略进行后训练，并将其部署在真实机器人上，确立了无机器人后训练可行的结论。然而，由于其所有基线都在该相同的手持语料库上训练，因此比较隔离了模型和策划设计，而非数据来源，无机器人监督与遥操作相比如何的问题仍悬而未决。我们共享这种对后采集验证的重视，但也将保真度内置于采集设备本身，使得大多数轨迹通过验证，而不是被筛选掉。

5

第 6 页

我们的系统通过离线立体 SLAM、共享的 GPIO 硬件触发器以及非平行相机实现超广角覆盖，从而解决了这些保真度局限。此前没有手持系统能在同一机器人上，将免机器人后训练与遥操作进行对比 [12–14, 22]。我们保持骨干网络、配方和部署栈固定不变，仅改变任务特定演示是来自 HiFi-UMI 还是来自评估机器人的遥操作。

2.3 操控基础模型

近期的操控基础模型分为两类低层控制骨干网络，其区别在于动作生成是否与未来预测耦合。VLA 策略完全是反应式的，将当前观测和语言指令直接映射为动作。世界-动作模型（WAMs）增加了预测组件，这种耦合有两种形式。一些模型仅将未来观测预测作为辅助训练信号，并在测试时丢弃预测器。另一些模型在每个推理步骤生成未来状态，并从中解码动作，因此想象未来的质量直接决定控制效果。

在 VLA 家族中，RT-2 [29] 确立了分词动作配方，OpenVLA [30] 和 Octo [31] 在异构机器人数据上扩展了开放通用策略。近期系统倾向于连续动作头和更强的后训练配方：π0 [32] 和 π0.5 [33] 将预训练 VLM 与流匹配动作专家配对，这种架构现已广泛复用；而 GR00T N1 [10]、GR-3 [34]、Gemini Robotics [35] 和 SmolVLA [36] 则在模型规模与推理成本及可部署性之间进行权衡。另一条路线将动作接口本身作为设计变量，FAST [37] 关注动作分词，OpenVLA-OFT [38] 关注分块解码和微调；我们自己的动作表示继承了这些选择（第 5 节）。LingBot-VLA [39]、Qwen-VLA [40] 和 Qwen-RobotManip [41] 追求大规模对齐预训练和统一的具身接口。

在 WAM 家族中，早期系统在术语确定之前就已探索了这一想法。GR-1 [42] 和 GR-2 [43] 在视频生成预训练后联合预测未来图像和动作，UniPi [44] 将策略学习表述为文本引导的视频生成，VPP [45] 则基于从视频扩散模型中提取的表示进行条件控制。近期的 WAM 在策略骨干中使这种耦合显式化：DreamZero [46] 在预训练视频扩散骨干网络上构建实时闭环策略，WorldVLA [47] 在自回归框架中联合建模图像和动作生成。LingBot-VA [48] 通过因果世界建模学习帧预测和策略执行，从刚刚生成的未来潜在变量中解码每个动作块。

这些趋势强化了可扩展数据的价值。然而，免机器人来源（如人类视频、第一人称视频和 UMI 风格演示）仍很少被用作后训练监督，这一差距通常归因于轨迹保真度、同步性、重定向性和几何一致性的局限。StarVLA [49] 及其 QwenPI 风格实现提供了一个开放的模块化生态系统，可以直接验证上述归因。

因此，我们选择了沿三个轴不同的三个骨干网络。StarVLA-QwenPI 是一个模块化开放实现，因此我们可以控制其初始化并添加大规模预训练臂。OpenPI-π0.5 是一个强大的公开发布检查点，我们并未构建它。LingBot-VA 从想象的未来而非仅从当前观测中推导动作。使它们具有可比性的不是其架构，而是其接口：每个接口都消耗相同的监督信号，尽管它们张量化它的方式不同。因此，改变该监督信号的来源是一种应用于三次的干预，三者之间的一致性是关于数据的证据，而非关于任何单一架构的证据。

3 数据收集与处理流水线

本工作的核心假设——即免机器人演示可以独立地为基础部署策略提供 grounding——取决于数据的保真度。如果轨迹在长视域内漂移，如果传感器流在时间上未对齐，或者如果夹爪的视野太窄而无法解析接触，那么无论规模多大都无法恢复部署级动作信号 [10]，且真实机器人锚点将成为不可避免的选择。因此，我们将数据生产视为系统设计问题，并协同设计硬件和软件，以便在源头强制实施保真度，而不是事后修复。本节描述了由此产生的系统：一个可穿戴

第 7 页

捕获设备，其四个子系统分别针对特定的保真度维度（第 3.1 节）；对何为可用数据的显式两级定义（第 3.2 节）；将原始捕获转化为训练就绪片段的六阶段处理飞轮（第 3.3 节）；以及系统提供的端到端保真度（第 3.4 节）。

3.1 HiFi-UMI 捕获设备

毫米级轨迹精度 头部立体相机 左手双相机 右手双相机

头部轨迹 左手轨迹 右手轨迹

无漂移的长视域头部和手部轨迹

图 3 HiFi-UMI 捕获设备概览。一对集成 IMU 的头戴式立体相机可实现离线立体惯性 SLAM；每只手上的标记立方体在同一头部相机坐标系中进行定位；每只手携带两个非平行的广角鱼眼相机（顶部和底部）以实现超广覆盖；全掌手套式夹持器保留自然接触；共享的 GPIO 触发器同步所有传感器。

HiFi-UMI 捕获设备（图 3）围绕四项要求构建，我们的设计将这些要求视为部署级无机器人数据的联合充分条件：(i) 准确且可扩展的姿态获取，(ii) 面向操作的夹持器形态，(iii) 广覆盖的多模态感知，以及 (iv) 在线质量控制。我们逐一解决这些问题，并在表 1 中总结我们的设计与代表性无机器人系统的比较。

3.1.1 姿态获取与精度

UMI 风格捕获 [6] 的核心张力在于调和轨迹精度、跟踪鲁棒性、部署灵活性和硬件成本。现有方法处于这种权衡的不同位置：手腕相机视觉惯性里程计 (VIO) [50]、VR 头显与控制器跟踪、基站跟踪和动作捕捉。基站和动作捕捉系统提供高精度，但需要仪器化环境，这阻碍了可扩展的野外采集。VR 头显方案继承了成熟的商业跟踪堆栈，代价是更高的硬件成本和更大的系统复杂性。手腕相机 VIO 比两者都更便宜、更轻，但其视野通常被手或操作对象遮挡，导致轨迹容易受到跟踪失败和累积漂移的影响。

我们转而采用基于离线立体惯性 SLAM [51] 和基准标记定位 [52] 的可穿戴方案。不同于独立跟踪每个手腕，头戴式立体 rig 估计全局相机轨迹，每只手通过刚性附着的标记立方体相对于头部进行定位，该标记立方体由相同的头部相机观测。将全局头部轨迹与两个相对的手-头姿态组合，产生两只手的全球一致轨迹。这种设计源于一个简单的观察：头戴式视角比手腕-mounted 视角稳定得多，后者在操作过程中经常因附近移动物体、自遮挡和快速手部运动而受损 [9]。在我们的

第 8 页

实验表明，该方案实现了 3 毫米的末端执行器精度——与 VR 控制器追踪相当——同时比基于 VR 头显的装置更轻、成本更低。

头部相对公式化对于双臂操作尤为有利。由于两个标记立方体都在单个头部相机帧中被观测到，夹爪间的相对位姿是原生测量的，并继承了与单个夹爪位姿相同的精度，而不是像以前的手持装置那样通过跨相机共视事后重建。此外，由于头部运动通常远小于手部运动，头部相对追踪显著减少了累积漂移。

3.1.2 夹爪形态

现有的 UMI 夹爪大致分为基于扳机和基于指套的设计。触发设备直接模拟平行夹爪命令，但给操作者提供与被操作物体较弱的触觉对应。指套设计在机械上更简单，并保留了直接接触的感觉，从而实现更自然和灵巧的操作。然而，许多设计采用了狭窄、细长的几何形状：适合精细操作，但在处理较大或较重物体时受到限制。

为了在不牺牲接触保真度的情况下扩大任务覆盖范围，我们设计了一种不对称的双指、手套式全掌夹爪，灵感来自人手。两个手指分别对应拇指和对向的四指，并且在形状和宽度上故意不对称：较窄的指尖区域支持精确的小物体操作，而较宽的近端区域提供更大的接触面和更稳固的重物支撑。这种形态比触发接口更忠实地保留了操作者自然的力分布和接触几何。

3.1.3 相机和传感器

每只手携带两个非平行鱼眼相机，产生约 200◦ 的水平垂直覆盖。这种超广角视图减少了遮挡并改善了夹爪周围的可见性。结合立体头部相机，整个设备集成了六台相机。它还在头部和双手上携带 IMU——用于位姿估计和运动状态监控——以及在夹爪上的高精度编码器以测量开合角度。关键在于，每个传感器都由单个统一的 GPIO 外部触发 [53] 驱动，在所有相机、IMU 和编码器之间提供微秒级的时间同步。这种硬件级同步取代了先前系统使用的软件或无线对齐，并消除了动作标签噪声的一个关键来源。

3.1.4 在线交互和质量控制

为了从源头上抑制低质量数据，该设备在录制期间进行质量监控。它检测常见的故障模式——包括曝光不足、运动模糊、操作者运动过快以及手离开头部相机视野——并发出实时语音反馈，以便操作者就地纠正捕获，而不是在后期处理中发现该问题。在线时间切片让操作者在收集期间标记任务和子任务边界，减少了后续的分割工作。除了在线监控外，它还提高了吞吐量和可靠性。

3.2 数据质量标准

数据质量被强制执行为一组针对传感器、轨迹和标注的硬性约束——即捕获在可以作为动作标签之前必须满足的技术要求——这反映了大规模机器人数据集的策展和质量控制协议 [3]。除了这些约束外，语料库的内容级属性——标注正确性、任务和场景组成以及罕见行为的覆盖范围——由处理管道的标注、验证和导出阶段（第 3.3 节）而不是单独的准入测试来管理。

传感器。相机视场、布局和观看方向必须满足系统规范；多传感器时间戳必须准确同步；图像必须正确曝光，没有严重的运动模糊，没有意外的遮挡；并且所有其他传感器读数必须有效且准确。

8

第 9 页

表 1 关键设计与数据保真度轴上的代表性无机器人数据采集系统对比。姿态获取：6-DoF 姿态的估计方式——机载视觉（-惯性）里程计/SLAM（VIO / VI-SLAM）、头显内向外追踪（VR inside-out）或外部基站追踪。位置误差（Pos. err.）：报告的末端执行器位置误差（mm），取自各系统自身出版物并四舍五入；由于每种误差均针对不同的参考系和运动轨迹测量，这些值应视为数量级而非直接比较。HiFi-UMI 的值在本工作中测量（表 2）。同步（Sync.）：跨传感器时间对齐，报告其典型延迟规模与机制；仅 HiFi-UMI 通过硬件 GPIO 触发实现微秒级对齐，而先前系统（如有报告）使用毫秒级软件时间戳对齐。视图 / 视场角（Views / FoV）：相机视图数量及峰值视场角覆盖范围。相对姿态（Rel. pose）：获取夹爪间相对姿态的方式——当两端在同一操作员佩戴帧中被共同观测时原生测量（native），事后通过跨相机共视重建（reconstructed），或从针对外部基础设施追踪的两个姿态中差分得出（external）。夹爪（Gripper）：末端执行器致动形式（例如手持触发器、指套或全掌手套）。便携性（Port.）：无束缚、野外捕获且无需仪器基础设施（高）与依赖固定基站或动作捕捉架（低）。“–”表示引用来源未报告或不适用于单臂捕获的属性。这些选择共同赋予了 HiFi-UMI 相对于先前系统的主要优势：通过头载式离线立体惯性 SLAM 获得无需外部追踪基础设施的毫米级末端执行器精度（∼3 mm）；通过 GPIO 硬件触发实现最紧密的微秒级同步；双手最宽的传感覆盖；以及更高的易用性——完全便携且无需外部基站，并通过全掌手套而非触发器进行操作以实现更自然的操控。

系统 | 姿态获取 | 同步 | 位置误差 (mm) | 视图 / 视场角 | 相对姿态 | 夹爪 | 便携性 —|—|—|—|—|—|—|— UMI [6] | 腕部 VI-SLAM | ∼6 ms (软件) | ∼6 | 2 / 155◦ | 重建 | 触发器 | 高 FastUMI [7] | 专用 VI 模块 (T265) | ∼10 ms (软件) | ∼10 | 1 / 155◦ | – | 触发器 | 高 DAS fingers [54] | 腕部 VIO | – | – | 2 / 150◦ | 重建 | 指套 | 高 ActiveUMI [12] | VR 内向外 | ∼4 ms (软件) | ∼4 | 3 / – | 原生 | 触发器 | 高 TacUMI [55] | 基站 | – | – | 1 / – | 外部 | 触发器 | 低 RDT2 [14] | 基站 | – | – | 2 / – | 外部 | 触发器 | 低 FastUMI Pro [22] | 基站 + 腕部 VIO | ∼3 | – | 2 / 180◦ | 外部 | 触发器 | 低 XRZero-G0 [13] | VR 内向外 | ∼4 | – | 3 / – | 原生 | 触发器和指套 | 高 HiFi-UMI (Ours) | 头载立体惯性 SLAM | ∼3 µs (GPIO) | ∼3 | 6 / 200◦ | 原生 | 全掌手套 | 高

轨迹。每个 6-DoF 轨迹的坐标系必须一致且明确定义；重建的轨迹必须忠实反映人类演示，满足所需的精度，并在机器人回放下可执行；且夹爪宽度或开口角度必须准确测量。

标注。语言标注必须与视觉内容一致，且子任务段的时间边界必须满足所需的时间精度。

这些约束主要通过设备设计和处理流程来保障。当前可用数据比率约为 96%，这是累积的：它是处理流程中串联应用的两个关卡——轨迹重建和全身控制回放验证——各自通过到达其处的约 98% 捕获量的乘积（第 3.3 节）。

3.3 HiFi-UMI 数据处理流程

HiFi-UMI 流程（图 4）包含六个阶段：数据采集与上传、轨迹重建与自动清洗、仿真重定向、AI 辅助标注、人工验证以及数据分析与导出。每个阶段既过滤无效数据，又通过结构化元数据增强有效数据，从而使质量控制分布在流程中，而不是推迟到单个昂贵的审查步骤。

3.3.1 数据采集与上传

在捕获时有四种机制运作。多传感器同步通过共享 GPIO 触发在硬件层面保证；机载处理会对损坏或低质量片段发出在线警告，从源头移除无效样本；人机回环界面允许操作员在采集期间标记子任务边界，降低下游分割成本；并且设备通过 Wi-Fi 实时将捕获流式传输到云端，因此采集与上传并行进行。

9

第 10 页

图 4 HiFi-UMI 数据飞轮。原始采集数据经过六个阶段——采集与上传、轨迹重建与自动清洗、仿真重定向、AI 辅助标注、人工验证以及分析与导出——每个阶段都为数据丰富元数据，并移除或标记无效样本。

3.3.2 轨迹重建与自动清洗

头部轨迹 左手轨迹 右手轨迹

打开滑动屏幕向上。整理床上的枕头。折叠衣服。

整理水槽周围的洗漱用品并清洁水槽。整理浴室架子上的物品并清洁淋浴装置。将书从桌子移到沙发。

图 5 代表性 HiFi-UMI 任务：头部相机视图（左）和 3D 末端执行器轨迹（右）。

我们使用离线立体惯性 SLAM 重建头部轨迹，并通过在头部相机中检测其基准标记来恢复双手轨迹（图 5）。离线运行允许优化器利用未来和过去的观测数据。由于操作会不断改变场景——违反了标准回环检测 [56] 所基于的静态世界假设——我们故意放弃全局回环检测，改为在动态滑动窗口上施加局部一致性约束，从而在保持上述毫米级局部精度的同时，将长视距下的全局漂移限制在厘米级。由于 SLAM 优化偶尔会出现随机失败，被标记为异常的轨迹会自动重新计算。随后的自动清洗步骤检测并标注残留问题，如异常的 SLAM 估计、不一致的轨迹或其他异常数据模式。此阶段重建了 98% 的轨迹；剩余的失败案例被自动检测并移除。

3.3.3 仿真重定向

轨迹是否能在目标机器人上重放是其用于策略训练的前提。我们为目标的实体形态开发了全身运动控制算法 [57]，并验证了每个重建的

10

第 11 页

通过回放轨迹来验证其可行性，并剔除运动学或动力学上不可行的轨迹。在我们的实验中，这种回放验证对 98% 的重建轨迹有效。由于重建和回放验证是串联应用的，因此原始采集数据的累积基础有效性产出率为 98% × 98% ≈ 96%，这也是第 3.2 节中报告的数值。

3.3.4 AI 辅助标注

标注模型补充了子任务分割并生成草稿标签 [58]。利用我们设备独有的多视角捕获数据，该模型联合推理头戴式视角和以手为中心的视角，以推断任务进度、物体交互和动作边界；这种多视角设计解决了当感兴趣物体在一个视角中被遮挡但在另一个视角中可见时的歧义问题。该阶段输出结构化元数据——包括任务和子任务级别的语言描述、时间片段边界、被操作的物体以及候选异常事件——为每个演示提供了初始的结构化表示，从而大幅减少了后续的人工工作量。每个标签都带有置信度或不确定性分数，以便将低置信度样本优先路由至人工审核。

3.3.5 人工验证

人工标注员执行基于采样的检查和最终验证。他们并非从头审查所有原始数据，而是专注于由自动质量检查、低置信度 AI 标注或分布级分析标记的样本，这在保持低人工投入的同时确保了可靠性。在验证过程中，他们确认语言描述是否与视觉内容匹配、子任务边界在时间上是否准确，以及每个演示是否满足其预期的任务定义；他们修正或补充 AI 标签——例如，调整时间边界、细化粗略描述、添加缺失的物体信息，或标记样本以进行移除或降权。

验证结果存储为结构化质量控制元数据，因此每个样本都可以追溯到其标注来源、审核状态、拒绝原因和修正历史。这种可追溯性在大规模应用中至关重要：它使得下游能够分析失败模式、标注员一致性以及跨任务、场景、设备和采集批次的数据质量趋势。

3.3.6 数据分析与导出

最后，在导出之前对整理后的数据进行统计分析。该分析从多个维度总结数据集——任务类别、场景类型、物体类别、动作模式、轨迹质量、标注质量和回放成功率——从而提供分布的定量视图，揭示过度代表、代表不足或其他不平衡的子集。在这些统计数据的指导下，训练集通过显式平衡任务属性与目标模型的需求来组装：导出过程可以控制场景、任务、物体、动作类型和恢复行为的比例，对冗余子集进行降权，或对罕见但重要的行为进行加权。我们特意收集罕见的失败与恢复片段，以提供鲁棒闭环执行的监督信号。

导出将整理后的数据转换为训练就绪格式。除了原始观测数据和动作轨迹外，每个导出的片段还携带同步的多视角视频、校准轨迹、夹爪状态、语言标注、子任务边界和质量控制元数据，因此单个数据湖即可服务于异构的训练配置——任务级模仿学习、子任务条件策略学习、VLA 训练以及离线评估。实际上，这一分析与导出阶段在采集和训练之间形成了闭环：系统并非将所有演示视为同等有用，而是通过显式过滤、平衡和版本化导出构建数据集，提高了数据利用率，并使下游模型性能可追溯至特定的数据选择。

3.4 处理数据质量

表 2 报告了处理数据的端到端保真度。该流水线实现了 3 mm 的末端执行器精度、小于 40 µs 的跨传感器时间偏移、每小时捕获少于两帧的丢帧率、98% 的轨迹重建成功率以及小于 0.1◦ 的夹爪状态误差。在典型的操作工作空间内——

11

第 12 页

表 2 处理后数据的端到端保真度。

| 指标 | 描述 | 数值 | | :— | :— | :— | | 位姿精度 | 局部末端执行器误差（~2 m 工作空间） | 3 mm | | 同步性 | 跨传感器时间偏移 | < 40 µs | | 丢帧率 | 丢帧（6 台相机 @ 25 fps） | < 1 / 270,000 帧 | | 重建 | 通过 SLAM 重建的轨迹比例 | 98% | | 夹爪状态误差 | 开合角度误差 | < 0.1◦ |

在累积头部轨迹长度约为 2 m 的范围内，恢复的末端执行器相对于基站跟踪真值（仅用于此精度评估，不用于常规采集）的平均平移误差为 3 mm。这正是我们目标操作场景所处的范围：它们依赖于工作空间内局部一致的轨迹和准确的手部相对位姿。综上所述，这些数据表明 HiFi-UMI 采集的轨迹精度、时间同步性和夹爪重建能力与真实机器人遥操作所提供的水平相当——这正是我们核心假设所需的特性。

然而，保真度必须延续到策略的动作空间中。我们以机器人为中心的末端执行器坐标系表示动作，预测相对位姿增量以及绝对夹爪开合度。我们在第 5 节详细说明了这种动作表示。

4 数据集与发布

该数据集是第 3 节所述流程的直接产物。迄今为止，它包含超过 20,000 小时的处理后的操作数据，涵盖 480 多个场景中的 432 万多个片段。每个片段均采用第 3.1 节所述的六相机配置进行采集——即立体头部视角加上每只手两个超广角鱼眼视角——并导出同步的多视角视频、校准的双臂轨迹、夹爪状态、语言标注和子任务边界。表 3 总结了主要统计数据。

除了原始规模之外，该语料库还有两个特性使其适用于我们的研究。首先，保真度是在采集和处理过程中强制执行的，而不是事后审计，因此每个保留的片段都符合表 2 的标准。其次，语料库的构成是经过测量的，而非假设的：图 6 显示了其在任务、场景、物体和操作属性上的分布，第 3.3 节的分析和导出阶段利用这些统计数据来控制任何导出训练集的比例。从完整语料库中，我们策划并公开发布了 HiFi-UMI-2K，这是一个由同一阶段选择的具有代表性的 2,000 小时子集，旨在平衡任务、场景和属性覆盖。HiFi-UMI-2K 继承了完整语料库的导出格式，因此每个发布的片段都携带上述相同的同步六视角视频、校准的双臂轨迹、夹爪状态、语言标注和子任务边界。版本控制和每样本质量元数据（第 3.3 节）使得每个实验子集可复现，并可追溯至其批次、设备和审核历史，从而将性能与数据选择联系起来。HiFi-UMI-2K 根据知识共享署名 4.0 国际（CC BY 4.0）许可分发，该许可允许重新分发和衍生使用，包括商业用途，前提是注明出处。由于采集设备记录的是头戴式第一人称视角视频，所有在发布录音中出现的人脸都在分发前进行了掩码处理，因此 HiFi-UMI-2K 不包含面部图像。该数据集旨在用于操作学习和机器人数据管道的研究；我们不建议将其用于行为监控或身份追踪。

5 基线与训练设置

设计原则。我们的目标是测试高保真 UMI 数据是否足以在反应式 VLA 和 WAM 之间进行后训练对齐，而不是针对单一策略实现。我们实例化了三个强大的基础策略基线：StarVLA-QwenPI、OpenPI-π0.5 和 LingBot-VA。我们标准化了任务定义、物理动作语义、初始状态分布、成功标准和安全条件；每个主干网络保留其原生的观察、时间采样、动作张量化、归一化和部署接口。在每个主干网络内部，我们仅改变特定任务的数据源，同时保持

第 13 页

擦拭窗台 折叠椅子

打开门

将衣物挂上衣架

拔掉吹风机插头

将椅子推入桌下

关闭抽屉

取出烤箱架

将花插入花瓶

折叠睡衣 更换卫生纸

图 6 数据集在任务、场景、物体和操作属性上的分布概览。

表 3 完整处理语料库（“收集”）与精选 HiFi-UMI-2K 子集（“发布”）的数据集统计。

属性 值

收集 时长 20,000+ 小时 集数 4,320,000+ 场景 480+

发布 (HiFi-UMI-2K) 时长 2,000 小时 集数 482,100+ 场景 110+

每集相机视角 6 个

架构、初始化、优化和接口固定。不同骨干网络之间的一致性是对数据的收敛性证据，而非混合架构的比较。

策略接口与物理动作语义。在高层面上，每个骨干网络消耗形式为 n oT τ = o(m)t , q(m)t , ℓ, a(m)t:t+Hm−1 , (1) t=1 的集数，其中 m 索引骨干网络，o(m)t 表示其原生视觉观测，q(m)t 表示其原生机器人状态输入，ℓ 是自然语言任务指令，a(m)t:t+Hm−1 是其原生未来动作张量。对于每个骨干网络和每种条件，视觉观测 o(m)t 均取自捕获设备的四个手腕视角——每只手两个；头戴式立体对仅在捕获期间用于轨迹重建，从不作为策略的输入提供。在每个骨干网络内部，UMI 和遥操作变体使用相同的提示、相机选择、时间偏移、张量布局、归一化约定和评估协议。

13

第 14 页

在物理机器人接口处，三个骨干网络均使用相同的主动双臂末端执行器语义。对于机械臂 $j$，从 $t_0$ 开始的块中每个未来姿态均相对于同一当前观测姿态表示： $$ \Delta T_{j, (m)t_0, h} = T_{j t_0}^{-1} T_{j t_0 + \delta^{(m)}_h}, \quad (2) $$ 其中 $\delta^{(m)}_h$ 是骨干网络 $m$ 在索引 $h$ 处的原生未来偏移量。因此，块行共享一个测量锚点，并非相对于前一个动作目标递归定义。平移在锚点末端执行器坐标系中表示，方向使用 Rotation6D [59]，夹爪目标保持绝对。每个机械臂因此贡献 $3 + 6 + 1 = 10$ 个主动物理通道，双臂任务共 20 个通道。这种通用的物理约定并不强加统一的张量化方式：StarVLA-QwenPI 直接使用这 20 个通道，OpenPI-π0.5 在其原生的 32 维动作张量内填充它们，而 LingBot-VA 则将其映射到其原生的 30 维张量中。每个骨干网络保留其自身的视界、填充、掩码、时间偏移和归一化统计量。

5.1 StarVLA-QwenPI

StarVLA-QwenPI 是我们基于 Qwen 的 VLA 基线，遵循 StarVLA [49] 的模块化骨干-动作头设计。我们使用 Qwen3-VL-4B-Instruct [60]，包含 36 个 Transformer 层和 2,560 的隐藏宽度，结合 $\pi$ 样式的条件流匹配 DiT 动作头 [32, 61, 62]。Qwen 编码多视图观测和指令，每个 DiT 块对相应层级的 Qwen 特征进行交叉注意力计算。

官方 QwenPI 路径缺乏动作侧的自注意力，限制了预测块内的标记混合。我们保留对所有 36 个 Qwen 层的交叉注意力，并在每个奇数编号的 DiT 块后添加仅注意力的自注意力残差，从而耦合 $H = 20$ 个动作步骤，而无需重复前馈计算。

对于真实动作块 $a$ 和高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$，我们采样 $u \sim \text{Beta}(1.5, 1.0)$ 并设置 $\tau = (s – u)/s$，其中 $s = 0.999$。动作头被训练以预测从噪声到数据的向量场： $$ a_\tau = (1 – \tau)\epsilon + \tau a, \quad (3) $$ $$ L_{\text{FM}} = \mathbb{E}_h \| v_\theta(a_\tau, \tau, z_t) – (a – \epsilon) \|_2^2 \rangle. $$

在推理时，我们使用 8 步显式欧拉积分从高斯噪声中集成学习到的向量场。生成的块包含 $H = 20$ 个动作 [38, 63]，机器人以滚动视界方式执行前 $H_{\text{exec}} = 10$ 个动作 [64]。图像被调整大小为 $224 \times 224$，动作维度使用训练集的统计量进行归一化。

5.2 OpenPI-π0.5

我们的第二个 VLA 基线是 OpenPI-π0.5 [33] 的 JAX 实现，它结合了 PaliGemma [65] 视觉-语言流和 Gemma 连续动作专家。它使用 SigLIP So400m/14 视觉编码器，后接 18 层 Gemma-2B 语言模型，以及 18 层 Gemma-300M 动作专家。这些流具有模态特定的参数和混合 Transformer 联合注意力 [32]。

图像和标记化的任务指令构成视觉-语言前缀。本体感觉状态被离散化并与指令一起序列化，而不是作为连续的动作侧标记注入。动作标记对完整前缀和彼此进行注意力计算，允许联合预测整个动作块。

我们使用 OpenPI 发布的连续流匹配路径。给定条件上下文 $c = (o, q, \ell)$、动作块 $a$、高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$ 和流时间 $t$，我们构建 $x_t = (1 – t)a + t\epsilon$ 并训练动作专家预测速度场： $$ L_{\text{FM}} = \mathbb{E} \| v_\theta (x_t, t \mid c) – (\epsilon – a) \|_F^2 \rangle. \quad (4) $$

这是我们要唯一的微调目标；与完整的 $\pi0.5$ 配方不同，我们省略了知识隔离、自回归子任务生成和辅助文本损失。在推理时，OpenPI 使用 10 步欧拉积分生成连续动作块，供 VLA 滚动视界执行器使用（第 5.7.1 节）。

14

第 15 页

5.3 LingBot-VA

我们的第三个基线是 LingBot-VA [48]，这是一种因果 WAM，它在恢复实现这些动作的动作之前预测未来的视觉状态。令 $z_t = \text{EVAE}(o_t)$ 表示同步多视图观测的潜在变量，$h_t = (z_{\le t}, a_{<t})$ 表示视频-动作历史，$\ell$ 表示任务指令。LingBot-VA 将联合预测分解为 $$ \begin{aligned} p_\theta(a_{t:t+H-1}, z_{t+1:t+K} \mid h_t, \ell) \\ = p_\theta(a_{t:t+H-1} \mid z_{t+1:t+K}, h_t, \ell) \, p_\theta(z_{t+1:t+K} \mid h_t, \ell). \end{aligned} \quad (5) $$

第二个因子预测未来的视频潜在变量，而第一个因子充当逆动力学模型，从预测的视觉转换中解码连续的动作块。LingBot-VA 使用块因果掩码对交错的视频-动作块进行排序，确保序列建模符合上述分解。未来的视频潜在变量和连续动作通过连续流匹配联合训练，$\mathcal{L}_{\text{LingBot}} = \mathcal{L}_{\text{video}} + \mathcal{L}_{\text{action}}$，使用相等的损失权重。

LingBot-VA 遵循公式 (2) 中的块锚定物理约定。其 20 个主动双臂维度通过固定的通道映射插入到原始的 30 维动作张量中，未使用的通道在动作损失中被屏蔽。Rotation6D 由相对旋转矩阵的前两行构成。每个配置文件在推理过程中重用其特定条件的归一化统计量。

在部署时，滚动视界预测使用有界滚动 KV 缓存，视频/动作引导比例分别为 5/1、8/16 的去噪步数，注意力窗口为 24，以及第 5.7.2 节中的 WAM 协议。

5.4 训练变体

我们评估以下训练条件：

1. 真机遥操作后训练。策略在通过遥操作直接在目标机器人上收集的任务特定演示上进行后训练。这种设置代表了传统的面向部署的训练配方，其中后训练数据完全体现在目标机器人的观测空间、动作空间、动力学和夹爪 embodiment 中。我们将其作为真机参考，用于与 UMI 后训练进行比较。

2. UMI 后训练。策略仅使用我们针对目标任务的高保真 UMI 演示进行后训练。此设置中不包含任何真机遥操作轨迹。这是本文的核心实验条件：它直接测试足够准确的无机器人演示是否不仅能作为预训练数据，还能作为在真机上产生可部署操作策略的唯一后训练来源。

3. UMI 预训练 + UMI 后训练。策略首先在完整规模的 UMI 语料库上进行继续预训练，然后在任务特定的 UMI 子集上进行后训练。两个阶段均使用无机器人的 UMI 数据，没有真机遥操作片段。此变体测试广泛的无机器人操作预训练是否提供了可重用的视觉-运动先验 [8]，从而进一步改进下游仅 UMI 的专业化。我们仅在 StarVLA-QwenPI 上实例化此预训练阶段；OpenPI-$\pi_{0.5}$ 和 LingBot-VA 则始终从其公开发布的基线检查点开始进行后训练。

在给定比较中，这些变体共享相同的策略主干及其原生动作张量化、观测接口、归一化约定、时间采样和部署控制器。因此，性能差异主要反映训练数据的来源和阶段，而非模型架构或机器人执行协议的变化。特别是，将真机遥操作后训练与 UMI 后训练进行比较，旨在衡量高保真 UMI 数据是否能替代传统的真机锚点；而将 UMI 后训练与 UMI 预训练加 UMI 后训练进行比较，则衡量了在任务特定适应之前扩展无机器人数据的价值。

5.5 数据处理与片段过滤

所有 UMI 轨迹首先被转换为部署机器人的末端执行器动作约定。重建的手部姿态以共享的世界坐标系表示，并转换为机器人末端执行器坐标系。每个主干特定的加载器随后选择其原生的未来偏移 $\delta^{(m)}_h$ 并构建块锚定

15

第 16 页

公式 (2) 中的相对目标。生成的 20 个活跃物理通道根据骨干网络的本地张量布局进行打包、填充和掩码。遥操作流水线与其 UMI 对应物使用相同的骨干网络特定物理目标约定和张量布局。

在骨干网络特定转换之前，我们应用源轨迹有效性检查。由于语料库已经具有高保真度（第 3.4 节），这些检查在 UMI 数据上很少触发。如果片段包含以下任何情况，则将其移除：SLAM 跟踪失败、缺失相机帧、时间戳不连续、严重的手部姿态异常值、超过物理阈值的动作尖峰、任务执行不完整或机械爪状态重建不一致。长片段被切片为连贯段，并移除空闲的前缀和后缀。过滤在训练/验证划分之前进行，以防止近重复窗口跨越划分。

对于归一化，每个条件使用绑定到其部署配置文件的统计信息，遵循相应骨干网络未更改的归一化约定。位置、旋转和机械爪通道分别进行归一化。对于双臂任务，左右臂使用独立的统计信息。

5.6 训练与优化

VLA 预训练。预训练和后训练最小化流匹配行为克隆目标。我们以混合精度端到端优化 StarVLA-QwenPI，使用 AdamW [66]（β1 = 0.9, β2 = 0.95, ϵ = 10−8，权重衰减 10−8），梯度裁剪为 1.0，无累积。

我们在 4,000 小时的多任务 UMI 数据上进行预训练。遍历此训练混合数据一遍对应 180,000 次优化步骤。对于缩放和分布外 (OOD) 分析，最终导出的检查点是在进一步进行 5,000 步线性学习率衰减后获得的。训练使用 2,048 的有效全局批次大小。调度以 3,000 步的线性预热开始。动作 DiT 和投影层的峰值学习率为 10−4，其余骨干网络参数为 2.5×10−5，Qwen–动作接口为 10−5。我们对每个训练示例使用一个独立采样的流时间和噪声实现，随机化相机视图的顺序，并每 5,000 步保存检查点。

VLA 后训练。对于 VLA 模型的任务特定后训练，UMI 预训练变体从 185k 步预训练检查点初始化所有参数。我们以 512 的有效全局批次大小训练 50,000 步。经过 2,500 步的线性预热后，学习率遵循余弦衰减至 7×10−7；峰值速率对于动作 DiT 为 5×10−5，对于 Qwen 骨干网络和 Qwen–动作接口为 10−5。对于每个任务样本，我们抽取八个独立的流时间/噪声实现并平均其流匹配损失。基于 Qwen-VL 初始化的 StarVLA-QwenPI 基线则如后训练比较中所述，以随机初始化的动作策略开始任务特定训练。对于 OpenPI-π0.5，我们遵循 OpenPI 微调流水线，并使用相同的转换 UMI 数据从 pi05_base 初始化。

WAM 后训练。对于 LingBot-VA，我们遵循发布的任务特定后训练实现，并从 lingbot-va-base [48] 初始化视频–动作 Transformer。我们更新所有 Transformer 参数，同时保持因果 VAE 和文本编码器冻结。对于每个任务和数据来源条件，我们以 32 的全局批次大小训练 3,500 步。我们使用 AdamW [66]，参数为 (β1, β2) = (0.9, 0.95)，ϵ = 10−8，权重衰减 0.01，排除偏置、归一化和其他一维参数。学习率在前 25 步线性预热至 10−5，在第 3,000 步保持恒定，并在最后 500 步余弦退火至零。视频和动作流匹配损失权重相等。

验证与检查点选择。在验证期间，我们报告保留的流匹配损失、去归一化后的每维动作误差、机械爪误差以及真实机器人上的 rollout 级指标。我们不单纯通过验证损失选择检查点。相反，我们使用小型固定验证协议选择检查点，然后在最终盲测真实机器人评估之前冻结它们。

5.7 部署协议

在两个评估轨道中，我们标准化任务定义、初始状态分布、物理机器人动作语义、安全包装器、工作空间和速度限制以及成功和终止标准。否则，我们保留每个骨干网络的本地时间执行接口。因此，UMI 和遥操作-

16

第 17 页

在每种骨干网络内，均在严格匹配的部署设置下比较经过后训练的模型，且不强制 VLA 和 WAM 骨干网络采用统一的控制节奏或块消费规则。

5.7.1 VLA 部署

遵循 UMI [6] 的延迟匹配原则，我们使用带时间戳的滚动时域控制部署两种 VLA 骨干网络。传感器流被对齐到共同的观测时间，

tobs = tnow − max τ sobs , (6) s

其中 τ sobs 是传感器流 s 的校准延迟。因此，图像、本体感觉和夹爪状态对应于相同的物理时刻。对于锚定在 t0 的查询，返回的姿态块中的每一行都根据方程 (2) 从同步的查询时刻末端执行器姿态独立恢复，而不是从前一个目标递归积分。

预测的目标使用骨干网络特定的动作间隔分配时间戳，并提交至经过延迟补偿的机器人命令缓冲区。StarVLA-QwenPI 使用上述 H = 20、Hexec = 10 的配置；OpenPI-π0.5 保留其原生的固定视界和重规划间隔。对于每种骨干网络，其 UMI- 和遥操作后训练变体之间的所有部署参数均保持不变。

5.7.2 WAM 部署

LingBot-VA 则遵循其原生的块因果流式传输协议。在剧集重置后，第一次模型调用生成 12 个可执行动作，而后续调用预测包含 24 个动作的原生两块块。对于每个匹配的 UMI 与遥操作比较，我们对两种后训练变体使用相同的执行计划——重置后 12 个动作，此后 24 个动作。在每个执行块的开始，我们测量当前的末端执行器姿态，并将其用作共享的块锚点。每个预测的姿态目标根据方程 (2) 独立恢复，不随时间累积动作行。评估的配置保留三的时间步长，即每三个原生动作槽对应一个源观测。结合 VAE 的时间下采样因子四，这给出了每个潜在视频帧 12 个原生动作槽。底层机器人控制器跟踪由此产生的带时间戳的目标。

在执行过程中，客户端每执行三个动作记录一次同步的多视图关键观测。在随后的每次请求中，首先使用前一个块的动作历史和 newly collected real observations 更新 LingBot-VA 的有界滚动 KV 缓存。然后从更新后的上下文中预测下一个视频-动作块，使因果历史扎根于机器人的执行轨迹。评估的基线在块边界处执行同步推理，每当剧集或任务提示更改时，缓存都会重置。

6 实验

我们设计实验以回答一个核心问题：高保真 UMI 数据能否作为可直接部署的真实机器人操作策略的后训练源，而无需依赖真实机器人遥操作数据？为了将数据源的影响与模型架构的影响分开，我们在跨越两种基础策略家族的三种策略骨干网络上进行比较：VLA 策略 StarVLA-QwenPI 和 OpenPI-π0.5，以及 WAM LingBot-VA。

6.1 实验设计

6.1.1 评估基准

所有真实机器人实验均使用带有两个七关节 Tianji Robotics Marvin M6 力控制臂的固定双臂平台。在部署时，该平台与 HiFi-UMI 末端执行器匹配：它携带第 3.1 节中描述的相同夹爪和四个腕部相机。头部立体对仅用于离线捕获重建，并从部署中排除，因此策略接收记录视图的严格子集。因此，捕获和部署具有物理上相同的接触和观测接口；剩余

17

第 18 页

具身差距仅限于手臂运动学。策略输出末端执行器位姿目标，以 125 Hz 进行插值，并流式传输至控制器，该控制器以 125 Hz 求解逆运动学，并通过 EtherCAT 以 1 kHz 发送关节角度指令。

为确保不同策略间的公平比较，我们遵循既定的真机评估协议 [67]，并通过标准化基准系统进行所有 rollout。每个 rollout 由两名评估者共同执行，职责分离：策略操作员加载并启动指定策略，而场景操作员根据基准规范独立构建采样的测试实例，包括物体放置和环境配置。这种分离限制了操作员偏差，并使初始条件在不同策略间保持随机化和可复现。

评估前，我们冻结任务定义、物体集合、语言指令、策略检查点、初始条件库、任务特定超时和安全规则。对于每次 rollout，任务相关物体在预定义的无碰撞且机械臂可达的桌面区域内重新随机化。所有策略均在相同的初始条件分布下进行评估，同时策略顺序随机化以减少时间和操作员偏差。我们对每个任务-策略对进行 40 次 rollout。

主要指标为二元任务成功率。仅当在固定超时前完成全部任务目标、最终状态保持稳定至少两秒且未发生安全干预时，rollout 才算成功。若出现成功、超时、长时间无任务进展、重复无效运动、物体掉落未恢复、错误物体交互或安全停止，rollout 即终止。所有终止原因均记录用于失败分析。由非策略原因引起的硬件或通信故障标记为无效试验并重复。

6.1.2 任务套件

我们的基准包含四个桌面操作任务，涵盖接触丰富交互、可变形物体操作、受限放置和语义分类（图 7）：

1. 污渍擦拭。机械臂从桌面上拿起毛巾，擦拭指定污渍直至目标区域清洁，最后将毛巾放回桌面。

2. 衬衫折叠。机械臂折叠衬衫的左右袖子，然后对称折叠下摆以生成所需的最终构型。

3. 遥控器插入。机械臂抓取遥控器并将其插入目标存储盒。

4. 果蔬分类。根据语义类别，机械臂将指定蔬菜放在粉色盘子上，将指定水果放在蓝色盘子上。

这些任务涵盖了互补的能力：污渍擦拭测试持续接触和空间覆盖；衬衫折叠测试双臂可变形物体协调；遥控器插入测试精确受限放置；果蔬分类测试语义类别条件操作。

6.1.3 数据收集机制

我们为每个任务构建独立的 UMI 和真机遥操作数据集。

UMI 演示。UMI 演示由多个操作员在不同物理站点、背景、光照条件和桌面外观下收集。对于每个任务，我们使用 3,200 条轨迹进行后训练，对应约 10–20 小时的演示，具体取决于任务持续时间。由于 UMI 收集不需要目标机器人，独立操作员可以在多个环境中并发收集数据。

真机遥操作演示。遥操作演示直接在用于评估的同一物理环境中的目标机器人上收集。对于每个任务，我们收集约 300 条轨迹，对应约 3–7 小时的演示，具体取决于任务持续时间。每次收集会话都需要一名遥操作员和一名额外的助手进行场景重置、物体放置、安全监督和恢复。

18

第 19 页

(a) 污渍擦拭 (b) 衬衫折叠

(c) 远程插入 (d) 农产品分拣

图 7 四个基准任务，以第一人称 HiFi-UMI 演示展示。每个面板展示了单个任务的一个代表性阶段，这些数据是在手持数据采集过程中通过头戴式相机捕获的。该套件涵盖了接触丰富的擦拭、可变形物体操作、受限放置以及语义物体分拣。图 8 展示了相同任务的真实机器人执行结果。

表 4 七种训练条件。每种条件在四个任务上进行评估，每个任务 40 次 rollout。C1–C6 比较了每个骨干网络内后训练数据的来源；C1 与 C7 比较了在匹配 HiFi-UMI 后训练下的初始化情况。C3–C6 使用公开的基础检查点，而仅 C7 添加了 HiFi-UMI 预训练（第 5.6 节）。

骨干网络 初始化/预训练 后训练数据 报告位置

C1 StarVLA-QwenPI Qwen3-VL，从头训练的动作头 HiFi-UMI 第 6.2 和 6.3 节 C2 StarVLA-QwenPI Qwen3-VL，从头训练的动作头 遥操作 第 6.2 节 C3 OpenPI-π0.5 pi05_base HiFi-UMI 第 6.2 和 6.3 节 C4 OpenPI-π0.5 pi05_base 遥操作 第 6.2 节 C5 LingBot-VA lingbot-va-base HiFi-UMI 第 6.2 节 C6 LingBot-VA lingbot-va-base 遥操作 第 6.2 节

C7 StarVLA-QwenPI Qwen3-VL → HiFi-UMI 预训练 HiFi-UMI 第 6.3 节

在我们的采集流程中，获取一条可用的遥操作轨迹所需的时间是获取一条 UMI 轨迹的数倍。除了人类操作时间外，真实机器人采集还涉及机器人执行、环境重置、安全检查以及硬件恢复等开销。因此，报告的数据量反映了实际的流程吞吐量，而非轨迹数量匹配的设计。

评估场景中未收集任何 UMI 轨迹。因此，UMI 后训练策略在背景、光照、桌面外观及整体视觉上下文方面存在场景级分布偏移的情况下进行评估。相比之下，遥操作演示是使用与评估相同的机器人设置和环境收集的。这种不对称性提供了一个保守的测试，以验证多样化的多站点 UMI 数据能否迁移到未见过的部署场景。

6.1.4 策略比较与评估协议

我们的研究变化了三个因素：策略骨干网络、特定任务后训练数据的来源，以及（仅针对 StarVLA-QwenPI）后训练开始的初始化来源。该设计故意不平衡：数据源轴在所有三个骨干网络上进行评估，而初始化轴仅在一个骨干网络上进行评估。表 4 列出了由此产生的七种训练条件，并指出了每种条件的报告位置。

基于此设计，进行了两项比较，每项比较均保持其他因素不变。数据源比较（C1 与 C2、C3 与 C4、C5 与 C6）固定了骨干网络、初始化、优化配方、动作表示、归一化协议以及部署执行器，仅改变特定任务演示的来源。初始化比较（C1 与 C7）固定了后训练数据——每个任务相同的 3,200 条 HiFi-UMI 轨迹——以及优化配方和部署栈，并

19

第 20 页

(a) 污渍擦拭 (b) 衬衫折叠

(c) 远程插入 (d) 农产品分拣

图 8 四个基准任务的代表性真实机器人成功执行案例，每行中时间从左至右推进。

仅改变后训练开始的检查点。该比较的两个臂均从相同的 Qwen3-VL 权重开始，C7 仅在于这些权重首先经过大规模 HiFi-UMI 预训练。因此，该比较隔离了从 HiFi-UMI 数据获得的视觉-运动先验，而非视觉-语言先验本身。OpenPI-π0.5 和 LingBot-VA 始终从其公开发布的基础检查点进行后训练，不参与初始化比较。

对于每个条件-任务对，我们进行了 40 次真实机器人 rollout。在每次 rollout 之前，被操作的对象在允许的工作空间内随机重新定位。评估在两个配置相同的机器人平台上进行，遵循相同的物理安全和任务评估协议，同时保留上述特定主干的执行客户端。主要指标是在第 6.1.1 节固定的成功和终止标准下的任务成功率 Nsuccess/Nrollout；第 6.1.2 节列出的任务目标的未完成部分计为失败。

6.2 仅 UMI 后训练能否匹配基于遥操作的后训练？

在上述两个评估轨道中，使用 HiFi-UMI 而非遥操作作为任务特定的后训练源，在评估设置下产生了近似的总体均衡。取 UMI 减去遥操作，StarVLA-QwenPI、OpenPI-π0.5 和 LingBot-VA 的总体成功率差异分别为 -2.5、+3.1 和 -0.6 个百分点，在主干之间没有一致的方向。由于 VLA 和 WAM 轨道使用不同的模型特定实验设置，包括时间、训练和部署协议，它们的绝对成功率不可直接比较。因此，我们将它们的一致性解释为来自三个受控的 Within-backbone 比较的收敛证据，而非跨策略范式的池化比较。我们依次报告两个 VLA 主干和 WAM。

6.2.1 评估轨道 I：VLA 主干

我们使用两个 VLA 主干比较仅 UMI 后训练与传统真实机器人遥操作后训练。在每个主干内，模型架构、初始化、优化配方、动作表示和部署堆栈保持不变；任务特定的后训练数据集由 HiFi-UMI 或遥操作收集管道提供，而模型和部署堆栈在每个主干内保持不变。总共，该评估包括四个任务、四种策略变体和每个任务-策略对 40 次试验的 640 次真实机器人 rollout。图 8 显示了所有四个任务的成功真实机器人 rollout。

总体比较。如图 9 所示，仅 UMI 后训练与基于遥操作的后训练在两个 VLA 主干上 closely match。在 StarVLA-QwenPI 上，UMI 后训练策略实现了 51.3% 的成功率（82/160），而其遥操作训练对应策略为 53.8%（86/160），差异仅为 2.5 个百分点。在 OpenPI-π0.5 上，UMI 后训练实现了 77.5% 的成功率（124/160），超过遥操作后训练的 74.4%（119/160），高出 3.1 个百分点。合并后，UMI 产生

20

第 21 页

StarVLA-QwenPI（UMI 后训练） OpenPI-π0.5（UMI 后训练） StarVLA-QwenPI（遥操作后训练） OpenPI-π0.5（遥操作后训练）

57.5% 60.0% 污渍擦拭 65.0% 65.0%

52.5% 60.0% 衬衫折叠 77.5% 80.0%

52.5% 50.0% 远程插入 85.0% 77.5%

42.5% 45.0% 农产品分拣 82.5% 75.0%

51.3% 53.8% 四项任务聚合 77.5% 74.4%

0 25 50 75 100 成功率 (%)

图 9 两种 VLA 骨干网络及后训练数据源在真实机器人上的成功率。每项任务-策略对在 40 次 rollout 中进行评估，而聚合结果则汇总了所有四项任务（每策略 160 次 rollout）。实心柱表示 UMI 后训练，斜线柱表示真实机器人遥操作后训练。粗体标签表示每项任务中的最高成功率。

206/320 (64.4%) 对比遥操作的 205/320 (64.1%)；骨干网络内的比较仍是主要关注点。

值得注意的是，对于两种 VLA 骨干网络，UMI 与遥操作之间的聚合差距仍然很小，而两种骨干网络之间的差异则大得多。这表明结论并不依赖于特定的 VLA 架构：用高保真 UMI 演示替换遥操作演示并不会系统地降低真实机器人的性能。

任务级比较。UMI 与遥操作的差异方向因任务而异，并未始终偏向任一数据源。在污渍擦拭任务中，两种条件在 StarVLA-QwenPI 上表现相似，并在 OpenPI-π0.5 上以 65.0% 的成绩持平。遥操作在衬衫折叠任务中提供轻微优势，StarVLA-QwenPI 达到 60.0% 对比 UMI 的 52.5%，OpenPI-π0.5 达到 80.0% 对比 77.5%。相反，UMI 后训练在远程插入任务中略高：StarVLA-QwenPI 达到 52.5% 对比遥操作的 50.0%，OpenPI-π0.5 达到 85.0% 对比 77.5%。在农产品分拣任务中，OpenPI 使用 UMI 也产生了更高的成功率（82.5% 对比 75.0%）。这些差异可能反映了 UMI 在物体、背景和采集地点方面的更广泛变化，这有助于空间定位和基于物体的控制。

由于每项任务-策略对包含 40 次 rollout，一次成功的试验对应 2.5 个百分点。因此，大多数任务级差异仅代表一到三次 rollout 的差别。我们 consequently 将微小差异解释为近似持平，而非某一数据源的决定性优势。

场景偏移下的泛化。就评估场景的视觉偏移而言，此比较对 UMI 较为保守，但样本并不匹配。UMI 演示由多个操作者在与评估场景在背景、照明、桌面外观和空间布局方面不同的环境中收集。相比之下，遥操作演示直接在目标机器人上收集，且环境与评估所用环境相同。尽管存在这种场景级的分布偏移，UMI 后训练

21

第 22 页

(a) 任务特定数据缩放 (b) UMI 预训练的影响 100 85% 82.5% 80% 77.5% 75% 80 70% (%) 65% 57.5% 47.5% 52.5% 基线率 60 37.5% 40 800 次回合已 超过基线 成功 20 UMI 预训练初始化. OpenPI-π0.5 Qwen-VL 初始化 (3,200 次回合) 0 400 800 1,600 3,200 6,400 400 800 1,600 3,200 6,400 UMI 后训练回合数 UMI 后训练回合数

图 10 两项互补的远程插入缩放研究。(a) 针对在越来越大 UMI 子集上后训练的 OpenPI-π0.5 的任务特定数据缩放。(b) StarVLA-QwenPI 后训练的初始化消融实验；虚线标记了在 3,200 次回合上训练的 Qwen-VL 初始化从头开始的策略。UMI 预训练策略仅用 800 次回合就超过了该基线。每个设置均在 40 次真实机器人回合中进行评估。

策略保持了与其环境内遥操作对应物相当的整体性能。这与多样化、高保真的 UMI 数据在场景偏移下提供准确监督一致。

在两种 VLA 骨干网络中，结果提供了证据表明，高保真 UMI 数据可直接作为可部署 VLA 策略的唯一任务特定后训练来源，而无需真实机器人遥操作锚点。该比较并非样本匹配：每个任务均在 3,200 条 UMI 轨迹上后训练，而在 300 条遥操作轨迹上后训练。因此，我们将这些实验解释为实际数据生产管道之间的比较，而非同等样本数据效率的主张。然而，在这种实际采集机制下，从后训练中移除真实机器人遥操作并不会导致部署性能的相应损失。

VLA 部署需要多少 UMI 数据？虽然前述 VLA 比较表明，仅 UMI 后训练可以匹配基于遥操作的后训练，但一个重要的实际问题仍然存在：需要多少 UMI 数据才能获得可部署的操作策略？为了回答这个问题，我们研究了 UMI 演示数量对真实机器人成功率的影响。

我们选择远程插入任务进行分析。该任务提供了一个受控但具有挑战性的评估环境：它需要一系列操作技能，包括物体抓取、运输、精确姿态对齐以及插入受限目标区域。与高度可变形物体任务（如折叠衬衫）相比，远程插入具有较低的内在方差，使我们能够更好地隔离演示数量对策略学习的影响。

遵循近期关于机器人模仿学习中数据缩放的研究 [8]，我们使用 UMI 演示的不同子集训练相同的 OpenPI-π0.5 骨干网络。具体而言，我们构建了五个分别包含 400、800、1,600、3,200 和 6,400 次回合的训练集。所有其他训练配置，包括模型初始化、优化设置、动作表示和评估协议，均保持一致。每个训练好的策略均在真实机器人上评估，在随机初始物体配置下进行 40 次独立回合。

如图 10a 所示，增加 UMI 后训练数据的数量在低数据区域带来了显著的性能提升。成功率从 400 次演示的 37.5% 提高到 800 次演示的 65.0%，表明额外的 UMI 轨迹迅速提高了策略获取基本操作技能的能力。进一步扩展到 1,600 和 3,200 次演示继续提升性能，分别达到 70.0% 和 85.0% 的成功率。

然而，在大约 3,200 次演示后，性能提升基本饱和。将训练集大小从 3,200 增加到 6,400 次回合并未带来额外收益，成功率

22

第 23 页

LingBot-VA（UMI 后训练） LingBot-VA（遥操作后训练）

62.5% 污渍擦拭 60.0%

65.0% 衬衫折叠 65.0%

42.5% 远程插入 50.0%

57.5% 农产品分拣 55.0%

56.9% 聚合（4项任务） 57.5%

0 25 50 75 100 成功率 (%)

图 11 LingBot-VA 在 UMI 与遥操作后训练下的真实机器人成功率。每项任务-数据源对在 40 次 rollout 中进行评估，而聚合结果则汇集所有四项任务（每种后训练数据源共 160 次 rollout）。实心柱表示 UMI 后训练，斜线柱表示真实机器人遥操作后训练。粗体标签表示每项任务中的最高成功率。

从 85.0% 略微下降至 82.5%。这表明在 40 次 rollout 评估的粒度下，性能在 3,200 个 episode 时趋于平稳。

结合之前的 UMI 与遥操作对比，这些结果支持以下结论：高保真 UMI 数据提供了可扩展的任务特定监督。与其依赖少量昂贵的机器人采集“锚点”数据，增加无机器人演示在低数据量区域显著提升了任务特定的后训练效果，并在无需真实机器人遥操作锚点的情况下达到了具有竞争力的部署性能。

6.2.2 评估赛道 II：WAM 策略

我们在 LingBot-VA 内部进行了单独的 UMI 与遥操作对比，LingBot-VA 是一个通过预测未来视频和逆动力学解码生成动作的 WAM。我们从相同的 LingBot-VA 基础检查点构建了 UMI 和遥操作后训练变体，同时保持模型架构、优化计划、视频-动作目标、动作表示、推理设置和部署堆栈固定。任务特定的后训练数据由相应的 UMI 或遥操作采集管道提供。对于每项任务-策略对，我们进行了 40 次真实机器人 rollout，在四项任务和两种策略变体上共产生 320 次 rollout。由于此 WAM 评估遵循特定模型的训练和评估协议，其绝对成功率不与 VLA 赛道直接比较。作为离线诊断，我们还评估了在条件为真实未来视频时的动作预测。这种 oracle 条件去除了累积的未来视频生成误差，使我们能够更直接地探测逆动作组件。

聚合对比。在所有四项任务中，仅使用 UMI 后训练实现了 56.9%（91/160）的聚合成功率，与使用真实机器人遥操作后训练获得的 57.5%（92/160）非常接近。这种相当的性能表明，在评估设置下，两种数据源为后训练提供了相似的有效性，而非表明任一来源具有明显优势。在单独的 WAM 评估协议下，用 HiFi-UMI 替换遥操作演示并未导致闭环部署性能的系统性下降。

23

第 24 页

任务级对比。成功率差异的方向因任务而异，并未始终偏向某一数据源。UMI 后训练在污渍擦拭任务上表现略好，成功率为 62.5%，而遥操作为 60.0%；在果蔬分拣任务上同样达到 57.5%，而遥操作为 55.0%。两种变体在衬衫折叠任务上的成功率相同，均为 65.0%。相反，遥操作后训练在远程插入任务上表现更好，成功率为 50.0%，而 UMI 后训练为 42.5%。每个任务-策略对进行 40 次 rollout，这些微小差异并未始终偏向任一数据源。

除了二元成功指标外，对机器人 rollout 的定性检查揭示了执行节奏的系统性差异：UMI 后训练策略倾向于产生振幅更大、更连续且看起来更自然的动作。成功的 rollout 通常以更少的停顿达到任务里程碑，而遥操作后训练策略更常执行增量修正。这些观察是定性的，因为完成时间也受恢复行为和终止条件的影响。

更直接的标称执行并不一定意味着更强的恢复行为。这一区别在远程插入任务中最为明显：UMI 后训练策略通常执行果断的初始抓取，但在接触条件不理想时可能需要多次尝试。这些重试降低了整体执行效率，与该任务上观察到的较低成功率一致。这一结果凸显了标称执行效率与恢复鲁棒性之间的区别，表明更广泛的接触修正和重新抓取行为覆盖对于可靠的闭环部署仍然至关重要。

真实视频分析显示稳定的跨域位姿解码。上述闭环评估测量了完整 WAM 管道的性能，但并未隔离失败是源于未来视频预测还是动作解码。由于 LingBot-VA 的动作预测以预测的未来视觉潜在变量为条件，使用生成视频进行评估会结合视觉生成和动作解码误差。为了分离这些因素，我们将生成的未来视频潜在变量替换为缓存的真实潜在变量，并在污渍擦拭、衬衫折叠、远程插入和果蔬分拣任务上评估动作解码器。此真实视频协议作为诊断性 oracle 而非可部署的推理模式：它从评估中消除了未来视频生成误差，但本身并不能确立视频生成是闭环瓶颈的主导因素。我们评估三种设置：在真实机器人保留观测值上的遥操作后训练模型（Real→Real），在同一保留域上的 UMI 后训练模型（UMI→Real），以及在episode-disjoint UMI 保留观测值上的同一 UMI 后训练模型（UMI→UMI）。

指标与聚合。我们评估完整执行的动作块，视界 H = 12。在对预测和目标应用相同的去归一化和块锚点 SE(3) 重建后，我们计算双臂 XYZ 轨迹误差为

v H u 1 EXYZ = 103 u X X ∥ˆpt,b −pt,b∥22, (7) t 6H t=1 b∈{L,R}

其中因子 103 将米转换为毫米。评估完整块保留了原生的块锚点动作契约，并测量传递给控制器的整个轨迹，而非选定的较短前缀。对于旋转，我们首先将 Rotation6D 预测和目标转换为有效的旋转矩阵，并构成严格的相邻帧增量，∆Rt,b = R⊤t−1,bRt,b。然后我们报告

H 1 Erot = X X dSO(3) ∆Rt,b, ∆Rt,b , (8) 2(H −1) d t=2 b∈{L,R}

单位为度，其中 dSO(3) 是两个旋转之间的测地线角度。省略步骤 t = 1，因为其 preceding pose 是外部块锚点，而非预测序列中的前一个目标。相邻增量因此测量局部旋转方向和幅度，而不允许累积的锚点相对漂移主导指标。

对于学习到的策略，我们首先对每个源 episode 内的评估记录和三个推理种子进行平均。对于随机参考，我们改为对每条记录平均 256 个独立采样的动作块

24

第 25 页

(a) 完整 12 步 XYZ 轨迹 RMSE (b) 帧间 SO(3) 误差 学习到的策略

真实 → 真实 21.64 [21.19, 22.09] 0.46 [0.43, 0.49]

UMI → 真实 24.33 [22.48, 26.32] 0.65 [0.58, 0.72]

UMI → UMI 21.13 [20.02, 22.31] 0.88 [0.84, 0.92]

真随机参考 随机 → 真实 117.57 [115.44, 119.73] 126.47 [126.39, 126.55]

随机 → UMI 123.80 [121.65, 125.99] 126.49 [126.44, 126.54]

20 30 50 100 0.5 1 10 100 误差 (mm; 对数尺度，越低越好) 误差 (度; 对数尺度，越低越好)

图 12 在真实视频条件约束下 WAM 的姿态解码保真度。点表示在污渍擦拭、衬衫折叠、遥控器插入和农产品分拣任务上的均值；须线表示 95% 源片段自助置信区间。平移为原生块锚表示中完整第一个 H = 12 块的双臂 XYZ RMSE。旋转为预测值与真实值在 t = 2, . . . , 12 期间的相邻帧增量之间的 SO(3) 测地误差。对数坐标轴在保留学习到的策略分辨率的同时，将真随机动作作为共同的尺度参考。排除夹爪通道，因为它们的物理语义在 UMI 和真实机器人接口之间未校准。越低越好。

在聚合片段之前。然后，我们对每个任务内的源片段求平均，并为四个任务分配相等的权重。报告的 95% 置信区间使用 20,000 次分层自助重采样，以源片段为采样单位，避免将相关的窗口或随机样本视为独立观测值。对于每个评估记录，随机参考在相应任务的冻结 UMI 检查点归一化空间中，独立地从 Uniform[−1, 1] 采样每个时间步和 20 个活动动作通道，应用该检查点的逆分位数归一化，并将生成的块通过相同的物理重建和评分管道。主要分析排除了两个夹爪通道，因为它们的采集语义在接口之间未校准。特别是，当不存在抓取时，真实机器人遥操作默认为完全打开的夹爪，而 UMI 保留操作者的手势角度。因此，包含这些通道会将姿态解码保真度与接口间夹爪行为的差异混淆。

如图 12 所示，UMI 后训练策略在保留的真实机器人观测上实现了 24.33 mm 的完整块 XYZ RMSE 和 0.65◦ 的帧间 SO(3) 误差。在片段不相交的保留 UMI 观测上，相应的误差为 21.13 mm 和 0.88◦，导致跨域差异仅为平移 3.20 mm 和旋转 0.23◦。在相同的保留真实机器人域上，遥操作后训练参考实现了 21.64 mm XYZ RMSE 和 0.46◦ SO(3) 误差。作为比较，真随机动作在真实机器人观测上产生 117.57 mm 和 126.47◦，在 UMI 观测上产生 123.80 mm 和 126.49◦。相对于域匹配的 Random→Real 参考，UMI→Real 分别将平移和旋转误差降低了 79.3% 和 99.5%。这些结果表明，当绕过未来视频生成时，UMI 和遥操作后训练的姿态解码器均实现了可比的厘米级平移精度和亚度级局部旋转精度。UMI→Real 与 UMI→UMI 之间的微小差距进一步表明，UMI 训练解码器在观测域之间泛化时没有显著退化。

6.3 大规模 UMI 预训练是否能产生更好的基础模型？

两条后训练路径表明，高保真 UMI 演示可以替代真实机器人遥操作作为特定任务的数据源。接下来，我们针对 StarVLA-QwenPI 隔离出一个单独的问题：相同的无机器人数据是否支持可复用的基础模型。我们在 4,000 小时的多任务 UMI 数据上预训练 StarVLA-QwenPI。有用的初始化不仅应提高对该语料库中保留样本的预测能力，还应能迁移到未见任务和真实机器人后训练。我们依次研究这些特性。

25

第 26 页

(a) 验证集误差随训练变化 (b) 衰减前的幂律拟合 4 × 10−2 稳定的学习率衰减 0.035 幂律拟合 学习率 学习率衰减 3 × 10−2 均方误差 均方误差 0.030 动作 0.025 动作 2 × 10−2

0.020 验证集 验证集 α = 0.268 0.015 R2 = 0.993

0 25 50 75 100 125 150 175 101 102 预训练步数 (k) 累积 UMI 动作块 (百万)

图 13 大规模 UMI 预训练期间的验证集动作预测误差。(a) 训练过程中的误差，阴影部分表示学习率衰减。(b) 对数坐标轴上的衰减前检查点及幂律拟合。由于语料库固定，该拟合衡量的是曝光缩放而非数据集大小缩放。

验证集上的缩放效应。4,000 小时的训练混合数据源自第 4 节描述的大规模语料库，涵盖了多样的场景、物体和操作技能。我们保留一组固定的动作块用于评估，并在每个检查点使用相同的固定步长欧拉积分过程进行流匹配策略推理。这隔离了更大训练曝光量的影响，排除了评估数据或采样器变化的干扰。通过混合数据的一轮遍历在 180k 步结束，随后进行短暂的学习率衰减。

图 13 显示，经过一轮语料库遍历，验证集动作误差下降了 61%。在固定模型大小和训练配置下，我们拟合公式： Lheldout(S) = L∞+ AS−α, (9)

其中 S 表示全局处理的累积 UMI 动作块数量。拟合指数为 α = 0.268，在学习率衰减前的 R2 = 0.993。这种紧密的对数-对数拟合表明，模型在整个训练轮次中持续将更大的 UMI 曝光量转化为更好的动作预测。因此，该趋势并非最终衰减调度安排的伪影。

向未见任务的迁移。预训练分布上的误差降低本身并不暗示更广泛的视觉-运动能力。因此，我们从十个独立收集的、未包含在预训练中的操作任务中构建了一个平衡的评估集。每个检查点使用相同的动作块和推理设置，缩放拟合仅使用学习率衰减前的检查点。

图 14a 显示平均 OOD 误差减少了 41%，且所有未见任务均有改善。聚合 OOD 误差也遵循幂律趋势，但指数较小，为 α = 0.095。族曲线揭示了清晰的排序：餐具和器皿交互改善最快，细粒度迁移居中，而布料折叠改善较慢。因此，缩放效应在任务族间是共享的，但其速率取决于预训练期间表示的交互模式。

图 14b 中的任务级比较使这种依赖性更加具体。刚性餐具到容器的任务具有最低的最终误差，而衣物折叠仍然最困难。细粒度迁移也随目标几何形状发生显著变化。这种结构反映了预训练混合数据：物体和容器放置占据了其超过三分之一的帧，而纺织品折叠占比不到百分之一。因此，模型可以重用丰富的刚性物体抓取-放置经验来处理新型餐具，而布料折叠必须从稀疏的可变形物体监督中进行外推。OOD 迁移更多地由交互动力学的覆盖范围决定，而非测试物体本身是否曾出现过。

该分析还明确了数据收集的重点。可变形物体数据应覆盖更多的衣物拓扑结构、初始配置、双手重抓和折叠转换。细粒度材料数据应

26

第 27 页

(a) 任务族分布外（OOD）扩展 (b) 未见任务的提升 10−1 餐具/器皿 α = 0.134 R² = 0.836 折叠连衣裙 5k 最终版 颗粒转移 α = 0.105 R² = 0.520 布料折叠 α = 0.072 R² = 0.687 折叠短袖

折叠长裤

面粉入碗 6 × 10−2 MSE 动作 放置 折叠 餐具/袜子

面粉入锅 OOD 4 × 10−2

锅铲入炒锅

勺子入灶台 布料折叠 3 × 10−2 颗粒转移 勺子入碟子 餐具/器皿

101 102 0.02 0.04 0.06 0.08 0.10 累积 UMI 动作块（百万） 动作 MSE（越低越好）

图 14 泛化至十个未见 UMI 任务。(a) 按操控家族划分的平均动作 MSE 及预衰减幂律拟合；菱形表示最终模型导出。(b) 第一个检查点和最终导出时的任务级误差。颜色标识广泛的操控家族。

变化容器几何形状、填充水平和运动类型。因此，OOD 基准测试不仅作为单一聚合分数，还作为重新平衡下一个预训练混合物的诊断工具。

对后训练的好处。离线动作误差仅在其能预测更好的部署起点时才有用。在远程插入任务上，我们将 UMI 与一个由 Qwen-VL 初始化的模型进行比较，该模型的动作策略从零开始；共享的视觉-语言主干网络隔离了 UMI 的视觉-运动先验。仅使用 800 个任务特定片段，UMI 预训练策略的表现已超过在四倍数据量上训练的 Qwen-VL 初始化基线，如图 10b 所示。扩展到 1,600 个片段将成功率提升至 80%，且在匹配的 3,200 个片段规模下优势依然保持。重要的模式是，强劲的性能出现得更早，并保持在任务特定基线之上：预训练提高了数据效率以及后训练后达到的性能。

我们接下来测试这种优势是否扩展到单个任务之外。在第 6.1.2 节的四个基准任务中的每一个上，我们使用相同的 3,200 个任务特定轨迹对两个 StarVLA-QwenPI 策略进行后训练。一个从 Qwen-VL 和随机初始化的动作策略开始，另一个从我们的 UMI 预训练检查点开始；数据划分、动作表示、归一化、优化计划和部署协议在其他方面均相同。因此，初始化是唯一受控的差异。OpenPI-π0.5 作为跨架构参考包含在内，而非此受控比较的一部分。

图 15 显示在所有基准任务上均存在正向迁移效应。UMI 预训练使 StarVLA-QwenPI 的总成功率提高了 18.1 个百分点，在擦拭、折叠和插入任务上增益尤为显著。由于架构和后训练配方固定，这种改进可归因于视觉-运动初始化，而非额外的任务特定监督。OpenPI-π0.5 为最终性能水平提供背景，但不是受控基线。

三项评估将预训练暴露与部署联系起来：预测在整个训练过程中不断改善，同样的趋势扩展到未见任务，且生成的检查点以更少的数据学习下游任务。更重要的是，任务族分析确定了迁移在不同技能间差异的原因。当扩展语料库能够扩大策略后续必须重用的交互动态覆盖范围时，扩展是有效的。

27

第 28 页

StarVLA-QwenPI (Qwen-VL 初始化) StarVLA-QwenPI (UMI 预训练初始化) OpenPI-π0.5

57.5% 污渍擦拭 77.5% 65.0%

52.5% 衬衫折叠 75.0% 77.5%

52.5% 远程插入 75.0% 85.0%

42.5% 农产品分拣 50.0% 82.5%

51.3% 四项任务聚合 69.4% 77.5%

0 25 50 75 100 成功率 (%)

图 15 仅经过 UMI 后训练后的真机成功率。StarVLA-QwenPI 分别从 Qwen-VL 或我们的 UMI 预训练检查点初始化；OpenPI-π0.5 提供跨架构参考。每个策略包含 40 次 rollout。粗体标签表示每组中的最高成功率。

7 讨论

实证发现与启示

在评估的四项任务和三种测试骨干网络（两个 VLA 和一个 WAM）中，HiFi-UMI 作为唯一的任务特定后训练来源，实现了与域内遥操作近似相等的聚合性能。这一发现关注的是任务特定后训练数据的来源，而非模型的完整预训练历史：OpenPI-π0.5 和 LingBot-VA 保留了其公开发布的预训练初始化，而在 HiFi-UMI 后训练条件下未引入任何目标任务遥操作数据。我们额外的 HiFi-UMI 预训练对于此聚合后训练结果并非必需；此外，在 StarVLA-QwenPI 上，对 4,000 小时 HiFi-UMI 进行预训练进一步提高了后训练数据效率和最终部署性能，将效率-性能前沿向上推移。这些结果还表明，一旦任务特定的演示在动作上充分对齐，数据组成和覆盖范围可能与数据量本身一样重要。刻画可部署策略最依赖哪些交互动态，以及覆盖范围何时饱和，仍然是一个核心的开放性问题。

局限性与未来工作

评估范围与通用性。我们的零样本机器人后训练证据涵盖了四种桌面双臂任务和三种骨干网络，处于场景级分布偏移下；其对其他任务、具身形态和偏移的通用性尚未经过测试。预训练证据较窄：扩展和下游增益仅在 StarVLA-QwenPI 上测量。需要更广泛的任务和具身形态，以及额外的 VLA 和 WAM 骨干网络，以确立这两项发现的适用范围。

任务级统计分辨率。每个任务-策略对包含 40 次 rollout，因此一次额外的成功会使估计率变化 2.5 个百分点。由此产生的不确定性限制了细粒度的任务级比较，因为少数结果可能会逆转由微小差距分隔的方法的顺序。因此，我们将任务级差异视为描述性的，并基于跨任务的聚合证据得出性能相等的结论。每个条件下的更多试验将缩小不确定性，并允许更精确地刻画任务级效应。

28

第 29 页

保真度作为整体进行验证，而非分解验证。我们将保真度视为一种设计原则，由轨迹精度、夹爪间相对位姿、同步性和视场共同实现，并不通过受控退化来孤立这些因素。因此，我们的结果表明高保真度足以胜任，但并未揭示可部署策略对各项属性具体需要多少。若进行系统消融实验——在保持样本量和场景覆盖固定的前提下，选择性地退化每个因素——则可量化其边际贡献，并将“高保真度有帮助”转化为关于部署所需保真度的可操作规范。

数据效率及跨后训练源迁移。我们的对比并非样本匹配：若无预训练，仅使用 UMI 进行后训练所需的演示数据量约为遥操作基线的十倍，因此该结果比较的是实际的数据生产管线，而非每条轨迹的效率。大规模 UMI 预训练显著提升了效率和可达性能，但仍有两个问题待解：随着预训练语料库的增长，这些增益是持续增加还是最终饱和；以及相同的初始化是否对真实机器人遥操作数据的后训练带来的益处与对 UMI 数据后训练带来的益处相当。在更大规模上测试这两点，可区分出通用的可复用初始化效应与特定于匹配域训练的益处。

8 结论

我们重新审视了“无机器人演示只能启动策略而无法完成策略，必须依赖遥操作后训练锚点”的假设。我们认为，局限性在于保真度，而非无机器人设置。HiFi-UMI 通过专为轨迹精度、夹爪间相对位姿、同步性和视场协同设计的便携采集设备对此主张进行了测试；其管线已生成超过 20,000 小时的数据。

在三种 VLA 和 WAM 骨干网络上，仅使用 HiFi-UMI 进行后训练的策略与遥操作策略的差距约为 3 个百分点，差异符号各异且在采样噪声范围内，尽管存在场景偏移且零遥操作数据，其在精密插入任务上仍达到 85% 的准确率。此外，4,000 小时的预训练使十个未见任务的动作误差降低了 41%，并在匹配的后训练数据量下使真实机器人成功率提高了 18.1 个百分点，仅用四分之一任务数据即达到随机初始化基线水平。因此，具备此保真度的无机器人数据不仅能支持预训练，更能支持可部署的操作任务。我们发布了 HiFi-UMI-2K，这是该语料库的一个 2,000 小时、微秒级同步、可重放、超广角视场的子集。

29

第 30 页

作者贡献

核心贡献者 魏宇腾*，马锦明*，王佳伟*†，周伟涛*†，左玉森，雷科，李梦磊† ✉。

贡献者 张金浩，潘志康，王翔，贾浩然，杜欢，曾子成，马军，秦桂宇，张迪，李晓飞。

*共同第一作者。†项目负责人。✉通讯作者。

通讯地址：liminglei@simpleai.tech。

参考文献

[1] Anthony Brohan, Noah Brown, Justice Carbajal, 等. RT-1: Robotics transformer for real-world control at scale. In Robotics: Science and Systems (RSS), 2023.

[2] Homer Walke, Kevin Black, Abraham Lee, 等. BridgeData V2: A dataset for robot learning at scale. In Conference on Robot Learning (CoRL), 2023. arXiv:2308.12952.

[3] Alexander Khazatsky, Karl Pertsch, Suraj Nair, 等. DROID: A large-scale in-the-wild robot manipulation dataset. In Robotics: Science and Systems (RSS), 2024. arXiv:2403.12945.

[4] AgiBot-World-Contributors, Qingwen Bu, Jisong Cai, 等. AgiBot World Colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems. arXiv preprint arXiv:2503.06669, 2025.

[5] Kun Wu, Chengkai Hou, Jiaming Liu, 等. RoboMIND: Benchmark on multi-embodiment intelligence normative data for robot manipulation. arXiv preprint arXiv:2412.13877, 2024.

[6] Cheng Chi, Zhenjia Xu, Chuer Pan, 等. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. In Robotics: Science and Systems (RSS), 2024. arXiv:2402.10329.

[7] Zhaxizhuoma, Kehui Liu, Chuyue Guan, 等. FastUMI: A scalable and hardware-independent universal manipulation interface with dataset. arXiv preprint arXiv:2409.19499, 2024.

[8] Fanqi Lin, Yingdong Hu, Pingyue Sheng, 等. Data scaling laws in imitation learning for robotic manipulation. In International Conference on Learning Representations (ICLR), 2025. arXiv:2410.18647.

[9] Hongjie Fang, Chenxi Wang, Yiming Wang, 等. AirExo-2: Scaling up generalizable robotic imitation learning with low-cost exoskeletons. arXiv preprint arXiv:2503.03081, 2025.

[10] Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, 等. GR00T N1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025.

[11] Hongzhe Bi, Lingxuan Wu, Tianwei Lin, 等. H-RDT: Human manipulation enhanced bimanual robotic manipulation. arXiv preprint arXiv:2507.23523, 2025.

[12] Qiyuan Zeng, Chengmeng Li, Jude St. John, 等. ActiveUMI: Robotic manipulation with active perception from robot-free human demonstrations. arXiv preprint arXiv:2510.01607, 2025.

[13] James Wang, Primo Pu, Zephyr Fung, 等. XRZero-G0: Pushing the frontier of dexterous robotic manipulation with interfaces, quality and ratios. arXiv preprint arXiv:2604.13001, 2026.

[14] Songming Liu, Bangguo Li, Kai Ma, 等. RDT2: Exploring the scaling limit of UMI data towards zero-shot cross-embodiment generalization. arXiv preprint arXiv:2602.03310, 2026.

[15] Hao-Shu Fang, Hongjie Fang, Zhenyu Tang, 等. RH20T: A comprehensive robotic dataset for learning diverse skills in one-shot. arXiv preprint arXiv:2307.00595, 2023.

[16] Open X-Embodiment Collaboration, Abby O’Neill, Abdul Rehman, 等. Open X-embodiment: Robotic learning datasets and RT-X models. In IEEE International Conference on Robotics and Automation (ICRA), 2024. arXiv:2310.08864.

30

第 31 页

[17] Chengkai Hou, Kun Wu, Jiaming Liu, 等. RoboMIND 2.0：面向可泛化具身智能的多模态、双臂移动操作数据集. arXiv 预印本 arXiv:2512.24653, 2025.

[18] Kristen Grauman, Andrew Westbury, Eugene Byrne, 等. Ego4D：3000小时第一人称视频环游世界. 在 IEEE/CVF 计算机视觉与模式识别会议 (CVPR) 上, 2022. arXiv:2110.07058.

[19] Kristen Grauman, Andrew Westbury, Lorenzo Torresani, 等. Ego-Exo4D：从第一人称和第三人称视角理解熟练的人类活动. 在 IEEE/CVF 计算机视觉与模式识别会议 (CVPR) 上, 2024. arXiv:2311.18259.

[20] Ryan Hoque, Peide Huang, David J. Yoon, 等. EgoDex：从大规模第一人称视频中学习灵巧操作. arXiv 预印本 arXiv:2505.11709, 2025.

[21] Kehui Liu, Zhongjie Jia, Yang Li, 等. FastUMI-100K：利用大规模 UMI 风格数据集推进数据驱动的机器人操作. arXiv 预印本 arXiv:2510.08022, 2025.

[22] Siyuan Yang, Linzheng Guo, Ouyang Lu, 等. VISTA：用于 VLA 训练的 UMI 数据的视觉接地与物理验证适配. arXiv 预印本 arXiv:2606.04708, 2026.

[23] Chen Wang, Haochen Shi, Weizhuo Wang, 等. DexCap：用于灵巧操作的可扩展且便携的动作捕捉数据采集系统. 在 机器人：科学与系统 (RSS) 上, 2024. arXiv:2403.07788.

[24] Mengda Xu, Han Zhang, Yifan Hou, 等. DexUMI：使用人手作为灵巧操作的通用操控接口. 在 机器人学习会议 (CoRL) 上, 2025. arXiv:2505.21864.

[25] Tony Tao, Mohan Kumar Srirama, Jason Jingzhou Liu, 等. DexWild：面向野外机器人策略的灵巧人类交互. 机器人：科学与系统 (RSS), 2025.

[26] Sirui Chen, Chen Wang, Kaden Nguyen, 等. ARCap：利用增强现实反馈收集高质量人类演示以用于机器人学习. 在 IEEE 机器人与自动化国际会议 (ICRA) 上, 2025. arXiv:2410.08464.

[27] Hongjie Fang, Hao-Shu Fang, Yiming Wang, 等. AirExo：用于在野外学习整臂操作的低成本外骨骼. 在 IEEE 机器人与自动化国际会议 (ICRA) 上, 2024. arXiv:2309.14975.

[28] Simar Kareer, Dhruv Patel, Ryan Punamiya, 等. EgoMimic：通过第一人称视频扩展模仿学习. 在 IEEE 机器人与自动化国际会议 (ICRA) 上, 2025. arXiv:2410.24221.

[29] Anthony Brohan, Noah Brown, Justice Carbajal, 等. RT-2：视觉-语言-动作模型将网络知识迁移至机器人控制. 在 机器人学习会议 (CoRL) 上, 2023. arXiv:2307.15818.

[30] Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, 等. OpenVLA：开源视觉-语言-动作模型. 在 机器人学习会议 (CoRL) 上, 2024. arXiv:2406.09246.

[31] Octo Model Team, Dibya Ghosh, Homer Walke, 等. Octo：开源通用机器人策略. 在 机器人：科学与系统 (RSS) 上, 2024. arXiv:2405.12213.

[32] Kevin Black, Noah Brown, Danny Driess, 等. π0：用于通用机器人控制的视觉-语言-动作流模型. arXiv 预印本 arXiv:2410.24164, 2024.

[33] Physical Intelligence, Kevin Black, Noah Brown, 等. π0.5：具有开放世界泛化能力的视觉-语言-动作模型. arXiv 预印本 arXiv:2504.16054, 2025.

[34] ByteDance Seed. GR-3 技术报告. arXiv 预印本 arXiv:2507.15493, 2025.

[35] Google DeepMind. Gemini robotics：将人工智能带入物理世界. arXiv 预印本 arXiv:2503.20020, 2025.

[36] Mustafa Shukor, Dana Aubakirova, Francesco Capuano, 等. SmolVLA：用于经济高效机器人的视觉-语言-动作模型. arXiv 预印本 arXiv:2506.01844, 2025.

[37] Karl Pertsch, Kyle Stachowicz, Brian Ichter, 等. FAST：视觉-语言-动作模型的高效动作标记化. arXiv 预印本 arXiv:2501.09747, 2025.

[38] Moo Jin Kim, Chelsea Finn, 和 Percy Liang. 微调视觉-语言-动作模型：优化速度与成功率. 机器人：科学与系统 (RSS), 2025. arXiv:2502.19645.

[39] Wei Wu, Fan Lu, Yunnan Wang, 等. 一种实用的 VLA 基础模型. arXiv 预印本 arXiv:2601.18692, 2026.

31

第 32 页

[40] Qiuyue Wang, Mingsheng Li, Jian Guan, 等. Qwen-VLA: 统一跨任务、环境和机器人形态的视觉-语言-动作建模. arXiv 预印本 arXiv:2605.30280, 2026.

[41] Haoqi Yuan, Zhixuan Liang, Anzhe Chen, 等. Qwen-RobotManip 技术报告：对齐解锁机器人操作基础模型的规模. arXiv 预印本 arXiv:2606.17846, 2026.

[42] Hongtao Wu, Ya Jing, Chilam Cheang, 等. 释放大规模视频生成预训练用于视觉机器人操作. 在国际学习表征会议 (ICLR), 2024. arXiv:2312.13139.

[43] Chi-Lam Cheang, Guangzeng Chen, Ya Jing, 等. GR-2: 一种具有网络规模知识的生成式视频-语言-动作模型，用于机器人操作. arXiv 预印本 arXiv:2410.06158, 2024.

[44] Yilun Du, Mengjiao Yang, Bo Dai, 等. 通过文本引导的视频生成学习通用策略. 在神经信息处理系统进展 (NeurIPS), 2023. arXiv:2302.00111.

[45] Yucheng Hu, Yanjiang Guo, Pengchao Wang, 等. 视频预测策略：一种具有预测视觉表征的通用机器人策略. 在国际机器学习会议 (ICML), 2025. arXiv:2412.14803.

[46] Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, 等. 世界-动作模型是零样本策略. arXiv 预印本 arXiv:2602.15922, 2026.

[47] Jun Cen, Chaohui Yu, Hangjie Yuan, 等. WorldVLA: 迈向自回归动作世界模型. arXiv 预印本 arXiv:2506.21539, 2025.

[48] Lin Li, Qihang Zhang, Yiming Luo, 等. 用于机器人控制的因果世界建模. arXiv 预印本 arXiv:2601.21998, 2026.

[49] StarVLA 社区. StarVLA: 一种用于视觉-语言-动作模型开发的乐高式代码库. arXiv 预印本 arXiv:2604.05014, 2026. 代码可用地址: https://github.com/starVLA/starVLA.

[50] Tong Qin, Peiliang Li, 和 Shaojie Shen. VINS-Mono: 一种鲁棒且通用的单目视觉-惯性状态估计器. IEEE 机器人学汇刊, 34(4):1004–1020, 2018.

[51] Carlos Campos, Richard Elvira, Juan J. Gómez Rodríguez, 等. ORB-SLAM3: 一种用于视觉、视觉-惯性和多地图 SLAM 的精确开源库. IEEE 机器人学汇刊, 37(6):1874–1890, 2021. arXiv:2007.11898.

[52] Edwin Olson. AprilTag: 一种鲁棒且灵活的视觉信标系统. 在 IEEE 机器人与自动化国际会议 (ICRA), 页码 3400–3407, 2011.

[53] Florian Tschopp, Michael Riner, Marius Fehr, 等. VersaVIS——一种开放的多用途多相机视觉-惯性传感器套件. 传感器, 20(5):1439, 2020. arXiv:1912.02469.

[54] GenRobot AI. DAS Fingers: 一种用于具身 AI 的高精度多模态数据采集设备. https://www.genrobot.ai/products/finger, 2025. 产品页面. 访问日期: 2026-07-08.

[55] Tailai Cheng, Kejia Chen, Lingyun Chen, 等. TacUMI: 一种用于接触丰富任务的多模态通用操控接口. arXiv 预印本 arXiv:2601.14550, 2026.

[56] Berta Bescos, José M. Fácil, Javier Civera, 等. DynaSLAM: 动态场景中的跟踪、建图和修复. IEEE 机器人与自动化快报, 3(4):4076–4083, 2018. arXiv:1806.05620.

[57] Huy Ha, Yihuai Gao, Zipeng Fu, 等. 腿上的 UMI: 通过以操作为中心的整体控制器使操作策略具备移动能力. arXiv 预印本 arXiv:2407.10353, 2024.

[58] Pierre Sermanet, Tianli Ding, Jeffrey Zhao, 等. RoboVQA: 机器人的多模态长视域推理. 在 IEEE 机器人与自动化国际会议 (ICRA), 页码 645–652, 2024. arXiv:2311.00899.

[59] Yi Zhou, Connelly Barnes, Jingwan Lu, 等. 关于神经网络中旋转表示的连续性. 在 IEEE/CVF 计算机视觉与模式识别会议 (CVPR), 2019. arXiv:1812.07035.

[60] Qwen 团队. Qwen3 技术报告. arXiv 预印本 arXiv:2505.09388, 2025.

[61] Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, 等. 用于生成建模的流匹配. 在国际学习表征会议 (ICLR), 2023. arXiv:2210.02747.

[62] William Peebles 和 Saining Xie. 基于 Transformer 的可扩展扩散模型. 在 IEEE/CVF 国际计算机视觉会议 (ICCV), 2023. arXiv:2212.09748.

32

第 33 页

[63] Tony Z. Zhao, Vikash Kumar, Sergey Levine, 等。使用低成本硬件学习细粒度双臂操作。在 Robotics: Science and Systems (RSS), 2023。

[64] Cheng Chi, Siyuan Feng, Yilun Du, 等。扩散策略：通过动作扩散进行视觉-运动策略学习。在 Robotics: Science and Systems (RSS), 2023。

[65] Lucas Beyer, Andreas Steiner, André Susano Pinto, 等。PaliGemma：一种通用的 3B VLM 用于迁移。arXiv 预印本 arXiv:2407.07726, 2024。

[66] Ilya Loshchilov 和 Frank Hutter。解耦权重衰减正则化。在 International Conference on Learning Representations (ICLR), 2019。arXiv:1711.05101。

[67] Jose Barreiros, Andrew Beaulieu, Aditya Bhat, 等。对多任务灵巧操作的大型行为模型的仔细考察。Science Robotics, 11(113):eaea6201, 2026。

33