方法贡献

Track2Art：用视觉-几何轨迹表示恢复铰接物体模型

作者

快速导读：Track2Art 从带物体掩码的 RGB-D 交互视频构建持久视觉-几何轨迹 token，经可变基数刚体部件发现与旋转等变的学习-解析关节几何头，前馈恢复部件、有向运动学图、关节类型与轴枢，无需真值部件数或测试时优化。

铰接物体由多个刚体部件与约束关节组成。现有路线要么先重建几何再推关节，要么在测试时做昂贵优化，并常需要真值部件数或关节拓扑。Track2Art 假设关节关系直接体现在持久运动里：同一刚体上的点一起动，部件之间的相对运动暴露约束。

方法把 RGB-D 交互视频转为融合 CoTracker 潜变量、DINOv2 外观与 3D 轨迹几何的 track token，用刚性感知集合预测发现可变数量部件，再预测有向连接、关节类型，并用旋转等变的学习-解析头恢复轴与枢轴。对齐 20 物体 PartNet-Mobility 套件上达到 0.695 Point IoU 与 0.410 J@20，且无需结构先验。独立代码公开状态待核验。

英文题目：Track2Art: Articulated Object Model Recovery with Visual-Geometric Track Representations

论文出处：arXiv 每日论文精选 · arXiv:2609.27675

原始论文：PDF / 论文页面

这篇论文解决什么问题？

机器人开关门、抽抽屉需要的不只是表面网格，而是可执行的运动学：哪些部件在动、如何连接、关节轴在哪。

重建驱动方法把运动学绑在对应与重建质量上；优化驱动方法难以扩展；仅用轨迹坐标又丢掉了预训练跟踪器内部的时空表征。

因此需要一种前馈框架：既保留度量运动，又利用跟踪潜变量与外观线索，在不知道部件数的情况下恢复完整铰接图。

核心创新

  • 融合预训练跟踪潜变量、DINO 外观与显式 3D 轨迹几何的视觉-几何轨迹表示。
  • 把刚体部件发现写成无需给定部件数的可变基数集合预测，并用刚性运动监督。
  • 学习-解析结合的旋转等变关节几何头，前馈输出有向连接、类型与轴枢。

方法概览

1) 用冻结 CoTracker3 跟踪掩码内点并抬到世界系 3D 轨迹，拼接 CoTracker 潜变量、DINOv2 描述子与 32 维几何描述子得 track token。2) DETR 风格编码器-解码器做可变基数部件集合预测，Slot Existence 决定激活部件数。3) Softmax 分配后以加权 Kabsch 估计部件刚体变换，用刚性损失监督。4) 成对关系头预测边与关节类型；旋转等变轴融合结合平移/旋转/结构/叉乘提议，再做轴一致直线精炼与运动回放损失。

  • 视觉-几何轨迹：在物体掩码内采样查询点，冻结 CoTracker3 得到二维轨迹并据深度与位姿抬到世界系；构造含参考位置、端点位移、最大运动、可见比与稀疏位移采样的 32 维几何描述子；再拼接时序池化的 CoTracker 潜变量与 DINOv2 patch 描述子形成 fi=[hi;gi]。
  • 可变基数部件发现：Transformer 编码 track token，Kmax 个可学习 slot query 经交叉注意力解码部件候选；存在头选择激活子集，训练时用 Hungarian 匹配真值部件。
  • 刚性感知分配：softmax 得到 track-to-slot 概率；对相邻帧用加权 Kabsch 估计部件相对刚体变换，并以尺度归一重建误差作 Lrigid，仅训练期使用。
  • 运动学与关节几何：用证据聚合的成对特征预测边与类型；从相对平移、相对旋转对数、结构方向及其叉乘构造方向提议，经旋转不变诊断向量学习权重并做二阶矩融合得到等变轴；转动副再在垂直于轴的平面内精炼轴线位置，并用关节坐标回放监督运动一致性。

逐图理解论文

失败直觉

失败直觉
Fig. 1: Overview of Track2Art. Track2Art transforms an RGB-D interaction video into persistent visual–geometric track representations, whose motion and learned features support variable-cardinality rigid-part discovery and subse- quent kinematic reasoning.

概念总览四宫格：RGB-D 冰箱交互、彩色点轨迹（门弧线/抽屉直线）、按颜色聚类的部件发现、以及转动副竖直轴与移动副滑移箭头的关节预测。

方法贡献

方法贡献
Fig. 2: Architecture of Track2Art. Persistent visual–geometric tracks combine pretrained tracking features, visual descriptors, and 3D trajectory geometry. A rigidity-aware set predictor discovers rigid parts, followed by pairwise relation prediction and equivariant learned–analytic joint-geometry estimation.

架构图 (a)-(d)：DINOv2+CoTracker3 构成 track token；编码器-解码器 slot 发现部件；加权 Kabsch 与 Lrigid；成对关系头与等变几何头输出 Edge/Type/Axis/Pivot。中央点云显示门旋转与底座静止。

关键证据

关键证据
Fig. 3: Comparison on PartNet-Mobility objects with two to six kinematic parts; colors denote recovered rigid parts and lines denote predicted joint axes.

上表为多方法对齐对比，Ours 在 20 物体上 IoU 0.695、Match 53、Type Acc 0.981、J@20 0.410 且 Qualification=None；下图 2–6 部件点云，Track2Art 颜色与轴线最接近 GT。

迁移与结论

迁移与结论
Fig. 4: Real-data transfer without fine-tuning. Top: box; bottom: oven. Colors denote predicted parts and lines denote joint axes.

真实数据零微调：上行箱盖黄底绿盖与青色铰链轴；下行烤箱门粉色部件与底部洋红轴。说明合成训练可迁移，但也暗示深度噪声风险。

实验如何设计？

  • PartNet-Mobility 860 物体按实例划分 616/122/122；固定连接体折叠为最大运动学刚体；两阶段训练：先部件发现，再冻结后训关系与几何头。
  • 评测在方法无关的源帧参考点上做匈牙利对齐；报告 IoU/ARI/RI、Match、Type Acc、轴角误差、归一化线误差与 J@20。
  • 外部方法按匹配评测范围分组，Qualification 列标明其原生两部件范围、真值部件数或关节清单等额外假设。

关键结果与论文证据

  • 5 物体全设置：IoU/ARI/J@20 为 0.974/0.962/0.800，优于 FreeArtGS 与 PARIS（第 6 页 Table II）。
  • 20 物体全设置：IoU 0.695、匹配 53 关节、Type Acc 0.981、J@20 0.410，Qualification 为 None（第 6 页）。
  • 相对 SegAnyMotion，部件发现 IoU/ARI/RI 大幅提升，因其二值动/静标签与 SAM 物体性会合并同物体多部件（第 7 页）。
  • LightWheel：边 F1=1.000 但 ARI 与轴精度下降；真实箱盖与烤箱门可无微调恢复部件与轴，玻璃门深度噪声仍会导致轨迹被吸收进错误部件（Figure 4）。

阅读时需要注意

  • 度量几何对域迁移更敏感，连通性不能保证轴精度。
  • 依赖掩码质量、深度与相机标定；输入假设与部分基线不完全等价。
  • 真实玻璃等透明/反光表面会破坏跟踪。
  • 预印本；代码与项目页公开状态待核验。

关联工作

  • 相对 FreeArtGS/ArtiPoint，本文强调 Coord.+Latent 轨迹用法与前馈推理。
  • 相对 ArtGS/VideoArtGS/DTA，去掉真值部件数或关节拓扑依赖。
  • 相对 SegAnyMotion，目标从动态物体分割转为铰接刚体部件与关节图。

发表评论