联合架构

PACT：从视频端到端学习人体姿态、接触与作用力

作者

快速导读：PACT 在冻结的 SAM 3D Body 上加入接触力 token 与时序 Transformer，联合预测姿态、接触与作用力，并用物理监督与伪标注管线解决力标注稀缺。

人体运动、环境接触与交互力受同一套物理定律约束，但现有方法通常把视觉姿态重建与接触/力估计拆成前后两段：先估姿态，再把中间结果交给优化或动力学网络。误差会沿管线传播，而与接触、受力真正相关的图像证据也可能在中间表示里被丢掉。攀岩这类手脚轮流承重的动作尤其明显——相近姿态可以对应完全不同的支撑与载荷分配。

PACT（arXiv:2610.00451，MBZUAI / ETH Zürich / EPFL）提出端到端联合学习：在冻结的 SAM 3D Body 上加入可学习接触力 token 与时序 Transformer，同时输出姿态修正、接触概率与接触力，并用牛顿-欧拉方程把三者拴在一起。为解决力标注稀缺，作者用几何+物理优化给合成与野外视频打伪标签，并发布带实测力的攀岩基准 FORCEWALL。项目页见（https://rihat99.github.io/PACT/）。

英文题目：PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video

论文出处：arXiv 每日论文精选 · arXiv:2610.00451

原始论文：PDF / 论文页面

这篇论文解决什么问题？

单目人体重建已经能给出较准的体型与姿态，但姿态本身并不等于物理交互：同一身体构型可以对应不同接触状态和数量级不同的力。体育分析、运动表现评估、从示范学机器人都需要这三件事一起还原。

优化方法（如 Li et al. 2019）依赖独立检测的接触与初始姿态；D&D、PhysPT 等学习动力学模型则在已重建轨迹上回归力或修正运动。它们读到的是受限的中间运动，而不是完整视频。多数设定还默认平地与脚底接触，难以覆盖手、墙、器械等变化支撑。

因此需要同时解决两件事：如何在保留基础模型视觉先验的同时做时序物理推理；以及如何在缺少同步力传感器的视频上获得可训练监督。

核心创新

  • 端到端联合学习姿态、接触与接触力，保留基础模型视觉证据而非在运动后再回归物理量。
  • 接触力 token + 世界系运动 + 时序迭代修正，把相机运动与人体动力学分开。
  • 几何-物理伪标注管线扩展训练覆盖，并发布带实测接触力的攀岩基准 FORCEWALL。

方法概览

冻结 SAM 3D Body，插入 35 个接触力 token；用 VGGT-Ω 把相机系姿态抬到世界系并编码关节速度；三层时序 Transformer 聚合后，分接触、力、姿态偏移与重力头，接触概率门控力；RNEA 物理损失约束根部残余。伪标注管线结合场景几何与摩擦锥优化，训练 BEDLAM2 与 CLIMBINGVIDEOS，评测 FORCEWALL / Parkour / OpenCap / RICH。

  • 架构上，PACT 用 SAM 3 跟踪人体，冻结 SAM 3D Body 骨干逐帧提取姿态 token，并按 Visual Prompt Tuning 的思路插入 35 个可学习接触力 token，每个对应 SMPL-X 表面一个接触点。相机系姿态经 VGGT-Ω 相机与度量人体尺度对齐后抬到世界系，再把关节位置与速度编码后与姿态 token 拼接，得到与相机运动解耦的世界运动描述。
  • 三层时序 Transformer 在时间维与接触槽之间做注意力，RoPE 编码相对时刻。接触头输出概率，力头在身体坐标系、以体重为单位回归力，再用接触概率门控并变换到世界牛顿。姿态偏移头在每个 Transformer 块后迭代修正根平移与旋转，重力头估计世界重力方向以兼容倾斜相机。力只在接触存在时生效，物理损失再把门控后的世界力代入递归牛顿-欧拉方程，惩罚根部残余力/矩与关节力矩，并加入接触点静止项防止滑动。
  • 数据侧没有野外视频同时带姿态、接触和力，于是用伪标注管线：SAM 3 跟踪、VGGT-Ω 重建带法向的场景点云、Sapiens2 与 SAM 3D Body 提供二维关键点与初始身体，再按“靠近场景且静止”或“没有该点就无法解释根部扳手”给接触打标；随后用运动学目标加摩擦锥约束联合优化轨迹与力。合成数据来自 BEDLAM2（约 1.8 万序列、550 万帧），真实数据来自新整理的 CLIMBINGVIDEOS（1528 个场景、约 4.5 小时）。

逐图理解论文

分阶段局限

分阶段局限
Figure 1: End-to-end joint estimation of human pose, contacts, and forces with PACT. Predictions from monocular videos show generalization across diverse activities and support configurations. White meshes show estimated poses; yellow arrows show predicted forces at estimated contacts.

图1总览：十组单目视频上的白模姿态与黄色接触力箭头，覆盖体操、攀岩、跑酷、瑜伽等不同支撑。宜作开场示意，说明同一套模型能处理手脚承重切换。特色图建议用架构图2。

联合架构

联合架构
Figure 2: PACT architecture. We add contact-force tokens to the frozen SAM 3D Body to account for additional outputs, that we process with a temporal transformer, alongside pose tokens enriched with world-related information. We use dedicated heads for contacts and forces, and predict pose offsets to smooth human motion learning from videos.

图2是方法主图：视频经冻结 SAM 3D Body 得到姿态 token，橙色接触力 token 并行进入解码器；相机运动经世界抬升后与姿态融合，送入带迭代修正的时序 Transformer，再分出姿态偏移、重力、接触与力四个头。宜作特色图。

伪标注与物理监督

伪标注与物理监督
Figure 4: Annotation pipeline. Foundation models reconstruct the scene, the cameras and an initial body, and a physics-based optimization labels the contacts, the motion and the forces.

图4是伪标注管线：VGGT-Ω 出场景点云与相机，SAM 3 出人体掩膜，Sapiens2 出二维关键点，SAM 3D Body 出初始 SMPL-X，再由物理优化联合标出姿态、接触与力。

结论与局限

结论与局限
Figure 3: Qualitative comparison on in-the-wild videos. Using downloaded videos from YouTube, we generate plausible forces (yellow), while our physics-based data annotation and optimization (red) fails. This shows that PACT generalizes beyond the tool used to annotate CLIMBINGVIDEOS.

图3把 PACT（黄箭头）与用于打标的物理优化（红箭头）叠在 YouTube 体操、瑜伽、攀岩片段上：优化常给出不合理方向或缺失，PACT 仍给出与起跳、支撑相符的力。用来说明泛化超过标注器。

实验如何设计？

  • 接触评测覆盖 CLIMBINGVIDEOS 测试集、FORCEWALL 传感器接触，以及完全域外的 RICH。对照 BSTRO、DECO、InteractVLM（提示 scene/wall）以及带接触头的 GVHMR、PromptHMR。指标为阈值 0.5 的精确率、召回与 F1。
  • 力评测在 FORCEWALL（两人、0/16/32 度仰角抱石墙，四块面板各压三轴传感器，68 段、约 2.96 万帧）、Parkour（Li et al. 的跑酷测力板+杠）以及 OpenCap 行走/下蹲等协议上比较 Li et al.++、PhysPT、逆动力学，以及双目 OpenCap / 单目 OpenCap-mono。指标含力 MAE、夹角、Pearson 相关、载荷份额误差、根部物理残差，以及 MPJPE。
  • 消融在只训 CLIMBINGVIDEOS、测 FORCEWALL 上累积加入时序 Transformer、世界系姿态、迭代修正、接触力 token 与物理损失，并对比去掉接触头以及 BEDLAM2/攀岩数据组合。

关键结果与论文证据

  • 表1显示：攀岩两套数据上 PACT 的接触 F1 分别为 0.921 与 0.936，明显优于 InteractVLM 与 GVHMR；在从未见过训练的 RICH 上精确率 0.941 为最高、F1 0.856 仅次于在 RICH 上训练的 BSTRO，说明接触头能泛化到扫描室内场景（页8）。
  • 表2显示：FORCEWALL 上平均力 MAE 为 85.5 N、相关 0.725，对照 Li et al.++ 为 141.4 N / 0.243、PhysPT 为 167.8 N / 0.169；Parkour 上平均力 MAE 102.4 N，并把 SAM 3D Body 的 MPJPE 从 68.9 mm 修到 66.3 mm（页8）。表3的 OpenCap 上，PACT 以单目输入在绝大多数轴向误差上超过单目基线，仅个别指标略逊于双目仿真 OpenCap（页8）。
  • 图3的野外 YouTube 体操、瑜伽与攀岩片段中，黄色 PACT 力箭头在起跳推地、平衡支撑处方向合理，而用于给 CLIMBINGVIDEOS 打标的物理优化（红色）会完全失败，说明端到端模型能泛化到标注器本身搞不定的视频（页9）。
  • 表4消融：只加时序 Transformer 会优先把 MPJPE 压低，力精度提升有限；加上接触力 token 后 MAE 到 96.0 N、相关 0.711；再加物理损失到 87.5 N / 0.729。去掉接触头后力 MAE 回升到 122.7 N。BEDLAM2 与攀岩数据合训把 FORCEWALL 的 MPJPE 从 56.6 mm 降到 49.1 mm，力指标变化不大（页9）。

阅读时需要注意

  • FORCEWALL 的 MPJPE（49.1 mm）略差于冻结骨干 SAM 3D Body（42.8 mm）：为了力与接触的时序一致性，姿态会被平滑修正，不是三项同时最优。
  • 训练力标签仍来自物理优化伪标注，而该优化在部分野外视频上会崩溃；模型能泛化出去，但监督分布仍受场景重建与摩擦锥假设限制。
  • 接触被离散成 35 个表面点与刚体 SMPL-X，难以表达大面积贴合、软组织或复杂器械抓握；RICH 上召回低于在该集上训练的 BSTRO。推理还依赖跟踪、相机与度量尺度对齐。

关联工作

  • BSTRO / DECO / InteractVLM 把接触当身体表面稠密标签来学，依赖扫描或人工标注；GVHMR、PromptHMR 则多在运动恢复里预测稀疏脚接触。
  • Li et al. 2019、Gärtner et al. 用轨迹优化从已知接触与地面/物体几何反求力；PhysPT、D&D、MusclePose 从已重建运动回归力或肌力，默认平地脚支撑。
  • PACT 把接触与力直接从图像端到端预测，并用世界系运动与物理残差把姿态绑回去，而不是在运动之后再补一截动力学。

发表评论