生命周期三段

按生命周期管住记忆，稳住 SAM2 多目标跟踪

作者

快速导读：丰田欧洲把检测器提示的 SAM2 跟踪写成生命周期记忆完整性问题，用 CTI、ACM、MGG 和可选 SASP 分别处理开轨、再识别、交互漂移与注意力成本；DanceTrack 验证集消融相对基线约 +10.5 HOTA、+17.4 AssA、身份切换降约 96%。预印本，无独立代码，待核验。

检测器提示的 SAM2 多目标跟踪，常常不是框不够准，而是对象记忆在错误时刻被写坏。Grégoire Francisco、Alessandro D’Amico、Samuele Costantini、Gianpiero Francesca 与 Lorenzo Garattoni 来自丰田欧洲（Toyota Motor Europe）。他们的 LiAM-SAM 把跟踪写成生命周期记忆完整性问题：开轨时管住什么能进记忆，交互时保护记忆不被渗血和换 ID，重现时保留可靠长期参考。论文是 arXiv:2609.28078，2026-09-23 v1 预印本，尚未同行评审。

方法由 Contrastive Track Initialization（CTI）、Adaptive Context Memory（ACM）、Motion- and Geometry-Grounded correction（MGG）和可选的 Similarity-Aware Spatial Pruning（SASP）组成。跟踪规则固定、SAM2.1-large 不微调，检测器用 RF-DETR-L 或对齐用的 YOLOX。DanceTrack 验证消融相对基线约 +10.5 HOTA、+17.4 AssA、身份切换约降 96%；测试集相对同一检测器+SAM2 基线的增益更大。全文未见独立代码仓库，开源状态待核验。

英文题目：LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT

论文出处：arXiv 每日论文精选 · arXiv:2609.28078

原始论文：PDF / 论文页面

这篇论文解决什么问题？

多目标跟踪要在时间上保持同一物体同一身份。分割式跟踪借 SAM2 提高定位，但在舞蹈、球类、驾驶这类拥挤交互里，重叠、遮挡、离场再入场会放大身份错误。

作者把失败归到生命周期三段：开轨时宽松检测容易造出重复轨迹或子物体；交互传播时近距接触会污染对象记忆，造成漂移、掩码渗血和换 ID；重现时短期记忆过期，再识别不可靠。坏记忆会继续写进后续帧。

先前工作往往只覆盖其中一段。运动关联跟踪没有显式分割记忆；注意力跟踪缺少严重重叠时的防腐；SAM2 系方法强化掩码或长时记忆，却缺少覆盖全过程的在线自治策展。MOT 不能像交互分割那样人工点选记忆。

核心创新

  • 把 SAM2 多目标跟踪形式化为生命周期记忆完整性：开轨、交互传播、重现三段分别设闸。
  • CTI、ACM、MGG 分别管住出生准入、长期参考策展和运动/深度校正，模块可叠加。
  • 可选 SASP 按掩码与共享相似度保留记忆 token，换取运行效率。

方法概览

每帧用检测器与 SAM2 得到框和掩码，匈牙利匹配后进入 LiAM。CTI 对未匹配检测框加负点提示并检查掩码与已跟踪区域的重叠比例，抑制重复/假/子物体开轨。ACM 用无时间编码的可靠多样参考替换 SAM2 原始静态参考，解码时与短期记忆一同被查询。MGG 对强重叠做运动接地的遮挡仲裁，对中等重叠做深度引导的渗血校正并立刻重编码记忆。可选 SASP 在交叉注意力前剪掉不相关空间 token。系统检测器无关；跟踪模块本身不训练，使用预训练 SAM2.1-large。

  • 每帧输入图像 It。检测器给出检测框，SAM2 在记忆条件下解码掩码。传播轨迹与检测用匈牙利算法、以 1−IoU 为代价匹配。未匹配检测进入开轨分支，已匹配轨迹进入传播与校正。
  • CTI 保持较高检测召回，另加对比准入。未匹配框 B 先经置信度与遮挡预过滤；若与已跟踪掩码相交，则从相交区域取代表点作为负点提示，连同正框提示送入 SAM2。随后计算候选掩码被已跟踪并集覆盖的比例 δ，过高则拒绝，用来压重复开轨和子物体。
  • ACM 保留 SAM2 最近 K 帧短期记忆，但把原来的单帧静态参考换成无时间编码、可更新的可靠参考库。只有外观可靠、并按多样性日程晋升的观测才写入。解码时查询同时看短期记忆与 ACM，尤其在短期记忆缺失或被交互污染时支撑再识别。
  • MGG 分两支。强重叠时，用卡尔曼状态的马氏距离看短时轨迹是否可分：像重复假设则抑制混淆者并阻止污染写入记忆，连续两帧对同一对象被标为混淆者则终止轨迹。中等重叠时，用 RGB 单目深度在支撑区与重叠连通域上比深度区间覆盖 γ；证据够强才把渗血像素改回并立刻按校正掩码重编码记忆。
  • 可选 SASP 在交叉注意力前剪 token：保留对象掩码上的位置，以及在共享图像嵌入里余弦相似较高的位置，后者常对应潜在混淆者。作者报告约可减半延迟并保持大部分精度。整体流程见补充材料 Algorithm 1。

逐图理解论文

生命周期三段

生命周期三段
Figure 1. LiAM-SAM. Starting from the combination of a detector and SAM2, our method matches bounding boxes and masks and initializes the tracked objects by explicitly presenting to SAM2 negative points—i.e., other tracked objects overlapping with the new potential one (Contrastive Tracking Initialization). The Adaptive Context Memory (ACM) introduces long memory and is updated only when the appearance is reliable. Finally, Motion & Geometry Grounded correction corrects confusion during occlusions and mask bleeding using motion and depth cues.

方法总图。左侧 Perception：输入舞台舞者图像，检测器出红框 Dt，SAM2 出彩色掩码 Mt，并有来自记忆的 Memory-conditioned decoding 虚线。中间紫色 LiAM：Assignment 后，潜在新轨迹进橙色 CTI（负点对比初始化），传播轨迹进橙色 MGG（运动与几何校正），再经 Memory encoding(+SASP*) 写入 Object-level memory banks。银行含短期记忆 t−6…t−1 与 ACM 的 timeless ref。右侧 Output 给出带 ID 的框与掩码。用它建立三段生命周期模块的位置，不是定量结果。

表内增益

表内增益
Figure 2. Qualitative examples of LiAM-SAM on BDD100k, DanceTrack and SportsMOT. See Section 4.5

三行定性：BDD100K、DanceTrack、SportsMOT，每行 Ours 对 Baseline。驾驶行显示交叉后 Baseline 丢 ID 与换 ID，ACM 支撑再识别；舞蹈行同初始化后 CTI 压重复、motion-grounding 减换 ID；篮球行遮挡后 Baseline 把 6 换成 13，Ours 保住身份，并有 CTI 去重。图上红绿圈是作者标注，没有印 HOTA。

效率与深度

效率与深度
Figure 3. Similarity-Aware Spatial Pruning (SASP). The gray grid denotes all memory tokens for one object at one timestep. SASP keeps tokens on the object mask (blue) and tokens at visually sim- ilar locations in the shared image-embedding space (orange).

补充材料中的 SASP 示意，请用这一张而不是 p011 正文残片。灰网格是单对象单时间步全部记忆 token；蓝块标 Logit Mask 上的对象引用，橙块标余弦相似位置。下方剪枝后的序列把橙、蓝 token 收成更短的 Pruned memory sequence。它说明剪的是空间 token，不是整段时间记忆。

实验如何设计？

  • DanceTrack：100 段多人舞蹈，外观相似、非线性运动、重遮挡，关联最难。BDD100K-MOT：1600 段驾驶视频，八类交通目标。SportsMOT：240 段体育视频，快速运动与频繁遮挡。
  • 主指标 HOTA，并报 DetA、AssA；BDD 另对齐报 MOTA 与 IDF1。消融额外报 IDSW。
  • RF-DETR-L 从 COCO 预训练出发，在各训练集微调。跟踪模块固定规则，SAM2.1-large 不微调。YOLOX 对照直接用 ByteTrack 官方微调权重。
  • 表 4 在 DanceTrack 验证上逐步打开 ACM、CTI、MGG-motion、MGG-depth。表 5 在 A100 上测 4 目标与 30 目标 FPS。定性对比统一用 SAM2+RF-DETR 作 Baseline。

关键结果与论文证据

  • 表 1 DanceTrack 测试：LiAM-SAM 79.6 HOTA、94.3 MOTA、83.6 IDF1、72.6 AssA、87.3 DetA，高于同表多数方法；相对 SAM2+RF-DETR 的 64.3/52.1，正文写 HOTA +15.25、AssA +20.49，身份切换降 96%。IDF1 仅比离线优化的 SAM2MOT（83.9）低 0.3。
  • 同表 YOLOX 块：LiAM-SAM 76.5 HOTA、83.3 IDF1、70.6 AssA，相对此前最佳 HOTA +6.6。这说明增益主要来自 LiAM，而不是只换了更强检测器。
  • 表 2 BDD 验证：IDF1 73.4 高于 MOTR-v2 的 72.7；MOTA 64.8 低于 UNINEXT 的 67.1，作者归因于对方更大骨干更偏检测。表 3 SportsMOT：HOTA 81.8、IDF1 86.4、AssA 76.7，AssA 相对 Deep HM-SORT 的 72.7 高 4.0。
  • 表 4 验证消融：基线 68.0 HOTA / 55.3 AssA / 36210 IDSW；只加 CTI 到 71.9 且 IDSW 降 44.8%；只加 ACM 到 71.2 且 AssA 到 60.4；CTI+ACM 到 75.7。加入 motion 后 IDSW 可再降约九成；完整加 depth 到 78.5 HOTA / 72.7 AssA / 1416 IDSW。摘要 +10.5/+17.4/96% 对应这条验证链路。
  • 表 5：SASP 把 4/30 目标 FPS 从 5/2 提到 10/5，HOTA 从 78.2 到 76.3。图 2 显示驾驶再入场、舞蹈交叉与篮球遮挡时，Baseline 更易换 ID 或造重复轨迹；Ours 侧标注 CTI、ACM、motion-grounding 的定性作用。图 4 进一步展示 MGG-depth 相关稳定掩码的例子。

阅读时需要注意

  • 分割记忆开销仍高于轻量跟踪；拥挤场景要实时还需更多优化。
  • 深度支路依赖单目深度，深度不稳时校正会变弱；证据不足时 MGG 选择不改重叠。
  • SOTA 说法限于文中表格；离线 SAM2MOT 在 IDF1 仍略高。摘要消融数字与测试集相对基线数字不要混读。
  • 未见独立代码或项目页，复现与权重状态待核验。

关联工作

  • ByteTrack、OC-SORT 说明低分检测和观测中心运动更新能抬关联，但不维护分割记忆完整性。
  • SAMURAI 的运动亲和更偏单目标接受/拒绝提案；MGG 要在多目标重叠里区分重复假设与真实碰撞。
  • SAM2-Long、DAM4SAM 扩展记忆内容；LiAM 强调何时写入、何时抑制、何时晋升参考。

发表评论