现有瓶颈

TRACKGRAPH：基于图像空间跟踪的在线开放词汇三维场景图

作者

快速导读：TRACKGRAPH 先在图像空间用 DINOv3 传播稀疏 FastSAM 掩码形成 source track，再融合进层次化场景图的类无关三维段，并以多视角 CLIP 库支持在线开放词汇检索与导航。

机器人要用自然语言找物体，地图不能只剩几何点云：还得保留可检索的物体级实体，并且尽量在探索过程中在线维护。现有开放词汇三维地图多半对每帧做分割与视觉语言推理，再在三维空间里把帧级掩码关联起来，算力和显存都容易被反复 VL 推理拖垮。

TRACKGRAPH（arXiv:2609.31005 ，PDF https://arxiv.org/pdf/2609.31005 ，NTNU）换了一条路径：先在图像空间用 DINOv3 特征把稀疏 FastSAM 掩码传播成短期稳定的 source track，再把轨迹融合进 TSDF 与层次化场景图的类无关三维段层，并用多视角 CLIP 特征库做文本/图像检索。项目语境下它面向四足与航拍等真实部署，而不是只做离线建图后处理。

英文题目：TRACKGRAPH: Online Open-Vocabulary 3D Scene Graphs via Image-Space Tracking

论文出处：arXiv 每日论文精选 · arXiv:2609.31005

原始论文：PDF / 论文页面

这篇论文解决什么问题？

传统 SLAM 给出轨迹与几何，却往往不组织可查询的物体段；度量语义图可能依赖预定义词表，也不一定保住实例身份。Hydra 一类场景图提供层次结构，但对象层常绑在闭集语义上。

ConceptGraphs、HOV-SG 等开放词汇方法把掩码抬到三维再合并；OVI-MAP、FindAnything 等在线系统则更多依赖体素投票或把地图渲染回当前视角做关联。这些路线通常默认“每帧都要分割并做 VL”，短时身份也主要在三维重建与位姿估计里解决。

TRACKGRAPH 的问题设定是：给定 RGB-D 与里程计，在线增量构建可文本/图像查询的三维段地图，并在连续观测与再次造访时保持段身份，同时压低每帧分割与 CLIP 推理频率。

核心创新

  • 图像空间 source track：稀疏 FastSAM + 稠密 DINOv3 传播，避免每帧分割与 VL。
  • 在线层次场景图中的类无关三维段层，用 3D 关联只处理中断与长期再访。
  • 按轨迹分列的多视角 CLIP gallery，支持文本/图像开放词汇检索。
  • 在 Replica 等基准上兼顾质量，并展示四足在线与航拍录制数据部署。

方法概览

在 Hydra 上替换类无关段层；关键帧 FastSAM+CLIP，帧间 DINOv3 概率传播保持 source track；轨迹融入 TSDF/网格，主动窗口关联与长期重识别处理中断与再访；段级多视角 CLIP gallery 用 max 相似度检索。

  • 系统以 Hydra 为重建与场景图骨干，把对象层换成类无关段层 LS：网格层顶点存至多 K 个 source track 假设权重，而不是闭集语义。每个三维段节点保存包围盒、质心、关联轨迹、聚合 DINOv3 特征、按轨迹分列的 CLIP 特征库以及 active/historical 状态。
  • 前端每帧抽 DINOv3 ViT-S+ 稠密特征；每隔 Kf=24 帧跑 FastSAM-x 与 OpenCLIP ViT-H/14。关键帧之间，用 DINOv3 相似邻域把源轨迹身份概率在图像块上传播，得到中间帧掩码，从而不必每帧重分割。
  • 关键帧用 IoU 与 DINOv3 特征相似度把检测掩码匹配到活跃轨迹：匹配则延续，未匹配检测开新轨，无法可靠延续则退休。CLIP 特征异步提取，按轨迹做滑动平均，并作为独立视图写入段级特征库，检索时对库内特征取最大余弦相似度，避免多视角平均冲淡判别力。
  • 轨迹掩码以衰减置信度融入 TSDF：关键帧权重为 1，传播观测随距上次关键帧帧数衰减。段更新器用网格“胜出身份”与主动窗口内的网格重叠/外观相似度，把中断后的多条轨迹并回同一物理段；离开主动窗口后，再用质心 k-d 树 + 几何重叠 + DINOv3 相似度做长期重识别合并。

逐图理解论文

现有瓶颈

现有瓶颈
Fig. 1. TRACKGRAPH constructs an online open-vocabulary 3D scene graph during autonomous robot exploration. 2D source tracks are fused into persistent 3D segments, enabling post-exploration natural-language retrieval and navigation without offline reconstruction or post-processing. through an accumulated volumetric map: OVI-MAP [4] votes over instance labels in intersected Truncated Signed Distance Field (TSDF) voxels, while FindAnything [5] matches masks to mapped segments rendered into the current view. In these approaches, the identity of each frame-local mask is determined from the 3D reconstruction and estimated pose.

图1总览四足探索过程中的在线开放词汇场景图：粉线轨迹穿过室内点云，旁侧展示不同时刻 RGB/实例掩码经 CLIP 进入查询；GOAL 1/2/3 分别用“Soda Dispenser”、背包图像查询与“Printer”示例检索导航。适合作为开篇与特色图。

图像空间跟踪

图像空间跟踪
Fig. 2. TRACKGRAPH 2D instance tracking, 3D segment construction and long-term re-identification. The upper path propagates sparse FastSAM [6] masks between keyframes using DINOv3 [8] features, with feature maps FDINO

图2是方法主图：上支展示 FastSAM 关键帧检测 + DINOv3 传播形成 source track、按轨聚合 CLIP，并经 Hydra 增量网格与段更新写入 CLIP galleries；下支展示再次造访时用质心 k-d 树与 DINO 相似度合并历史段。读法应先上后下。

落地与局限

落地与局限
Fig. 4. For two large real-world environments, a) shows the open-vocabulary scene graph constructed online by TRACKGRAPH onboard a quadruped robot, while b) highlights retrieval with both image- and text-based queries, with successful navigation to all segments in the indicated goal order.

图4给两个大型真实场景：a) 展示 Mesh→Segment→Places→Rooms 层次图；b) 展示图像查询与“Statue/Monitor/Yellow Vest/Blue Tank/Fire Extinguisher”等文本目标按顺序成功导航，是落地检索证据。

实验如何设计？

  • 基准遵循 OpenLex3D，在 Replica、ScanNet++、HM3D 上评测开放词汇分割 Top-5 结果频率（同义词/描绘/视觉相似/杂乱/缺失/错误）与检索 AP/AP50/AP25。
  • 效率在同一 NVIDIA A100 上与 OVI-MAP、FindAnything 等对比序列处理时间、峰值 RAM/VRAM；ConceptGraphs/HOV-SG 效率数字来自文献在 RTX 3090 上的报告，且部分基线只处理每第 10 帧。
  • 消融：用 FastSAM+BoT-SORT 替换 DINOv3 传播跟踪；以及 max-gallery 对 mean feature 的检索打分。真机在 Jetson AGX Thor 上以四足搭载 RealSense D455 等传感器部署，并以录制航拍 RGB-D 测航空视角。

关键结果与论文证据

  • Replica 上 TRACKGRAPH（ViT-H）同义词频率达到 0.50，为表中最高；ScanNet++ 上也排在前列，整体分割与检索相对 ConceptGraphs/HOV-SG 等有竞争力，检索上常仅次于 OVI-MAP 的强编码器变体。
  • Replica、3 cm 体素设置下，TRACKGRAPH 序列处理约 8.9 分钟、VRAM 约 8.3 GB；相对同机 ViT-H OVI-MAP（约 16.0 分钟、27.2 GB VRAM）约 1.7× 更快、约 3.3× 更省显存（摘要口径）。
  • 跟踪消融：DINOv3 传播相对 FastSAM+BoT-SORT 在 Replica 上维持约 15.0 Hz 对 6.0 Hz（约 2.5×），AP 接近且 AP50/AP25/同义词更好。特征库消融中 max gallery 相对 mean feature 提升 AP（6.00 vs 5.65）与同义词（0.50 vs 0.45）。
  • 真机以约 7.5 Hz 在线建图与对象搜索；三个大型室内场景中，文本与图像查询目标均成功检索并按目标顺序导航（见图4）。录制无人机数据上也能完成航空视角建图与检索。

阅读时需要注意

  • HM3D 等更大更杂场景上，编码器匹配时 TRACKGRAPH 在 AP/AP50 上仍落后部分基线，提示实例连续性与段覆盖仍可能不足。
  • 效率对比并非完全同硬件、同抽帧协议，需按指示性结果阅读；体素变粗会明显降 RAM 与时间，但检索 AP 可能下降。
  • 方法依赖里程计与 RGB-D 质量；主动窗口外主要靠重识别，长期外观变化或几何漂移仍可能导致重复节点。

关联工作

  • Hydra 提供层次场景图与在线重建骨架；ConceptGraphs、HOV-SG 代表掩码抬升后的开放词汇场景图。
  • OVI-MAP、FindAnything、Open-Fusion、OVO-SLAM 等强调在线关联或渲染回投影；OpenTrack3D 等则在三维侧做轨迹式关联。
  • OpenLex3D 提供不把预测压成小标签集的更高保真评测协议，是本文主表的共同尺子。

发表评论