尺子与对应

尺度未知的三维基础模型，怎样补出米制人体场景？

作者

快速导读：滑铁卢大学提出 WildHSR：用人体尺子伪标签预训练 Scale Readout，并从预训练中间层 query-key 读出人物对应，把 up-to-scale 基础模型补成米制相机、场景与持久身份；EMDB-2 上 RTE 0.9、WA-MPJPE 66.3。

从单目视频同时重建米制人体、场景与相机，难在两件事：全局尺度，以及谁是同一个人。University of Waterloo 的 Jerrin Bright 与 John Zelek 提出 WildHSR（arXiv:2609.29106，预印本）：不另挂米制骨干或独立跟踪器，而是问一个 up-to-scale 三维基础表示，能否靠轻量适配同时给出尺度与持久身份。

作者用野外视频里的人体当离线尺子，闭式生成尺度伪标签预训练 Scale Readout，再用 RICH/3DPW 精确米制微调；同时在预训练骨干中间层 query-key 上读出人物对应，结合米制骨盆运动做关联。窗内前馈，窗间解析 Sim(3) 拼接。EMDB-2 上报告 WA-MPJPE 66.3、RTE 0.9。文称代码将发布；选稿时未见独立代码页，公开状态待核验。本解读未复现。

英文题目：WildHSR: Metric Feed-Forward 4D People-Scene Reconstruction from a 3D Foundation Model

论文出处：arXiv 每日论文精选 · arXiv:2609.29106

原始论文：PDF / 论文页面

这篇论文解决什么问题？

三维基础模型已能前馈恢复相对几何与相机运动，但部分最强结果来自按窗归一化的 up-to-scale 输出。缺少米制后，多窗轨迹会按不同单位拉伸；缺少身份，则不同人会被拼进同一轨迹。

常见补救是外部米制网络、深度先验/教师，以及检测—跟踪流水线。这会引入额外模型、监督源与序列阶段。作者转向表示内部：精确标签少、网页视频多；几何匹配预训练可能在中间特征里留下人物对应。

目标因此很明确：把人体衍生监督迁入场景 token 的尺度读出，并把人物对应从同一骨干读出来，组成可部署的前馈人景系统。

核心创新

  • 人体衍生尺度监督：闭式尺子伪标签把野外视频监督迁入场景 token 的 Scale Readout。
  • 从预训练三维基础模型中间层读出人物对应，无需单独训练的视觉跟踪器。
  • 前馈窗内重建 + 解析关联与 Sim(3) 拼窗，得到统一米制世界中的人、相机与场景。

方法概览

WildHSR 以 VGGT-Ω 产 up-to-scale 相机/几何/场景 token，Multi-HMR+LoRA 提案人体；Pelvis Readout 形成骨盆 query，与场景/HMR token 交叉注意力解码米制 SMPL-X。Scale Readout：网页视频上用 ViTPose++ 与 4DHumans 闭式算 σ 伪标签并经一致性门控，预训练读出头后再用 RICH/3DPW 精确米制微调读出头与骨干 LoRA；推理只需骨干 token。身份：在第 13 层 query-key 上探测人物对应，小投影+米制骨盆运动+置信度做 dustbin-aware Sinkhorn 关联。100 帧窗、步长 50，解析 Sim(3) 拼世界。

  • Fig.4 是系统总览：单目视频进入带 LoRA 的三维基础模型，产出场景 token、up-to-scale 相机与深度/点图；HMR 分支提案人体，Pelvis Readout 给出 2D 骨盆与 query，经交叉注意力解码 SMPL-X；Scale Readout 预测 σ，缩放几何后，再靠关联与 Sim(3) 把各窗拼进一个米制世界。
  • Fig.3 展开尺度路径。(1) 冻结骨干、ViTPose++、4DHumans，用 zk=f·e3/e2、σk=zk/z̃k 做闭式尺子，并经躯干≥8px、≥8 次一致、log-std≤0.25 的门控取中位数伪标签；(2) 仅训 Scale Readout 拟合 log σ；(3) 在 RICH/3DPW 训练集上联合微调读出头与骨干 LoRA；(4) 部署不再需要尺子与教师，甚至不要求画面里有人。
  • 身份：探针显示第 13 层骨盆 token 更关注本人而非腾空位置；小投影把中间特征映到 128 维描述子，代价融合外观、米制骨盆距离与置信度，经 dustbin Sinkhorn 再匈牙利硬化。推理窗 100 帧、步长 50，共享帧上闭式求相对 Sim(3) 并保持序列总体米制尺度。

逐图理解论文

尺子与对应

尺子与对应
Figure 4: Overview of WildHSR. A 3D foundation model produces up-to-scale cameras, geometry and scene tokens. A mesh branch proposes people; a Pelvis Readout forms a body-localized query, and cross-attention decodes a metric SMPL-X body. The Scale Readout supplies σ; analytic associ- ation and Sim(3) composition link people and windows in one metric world.

系统架构图。左单目视频进三维基础模型+LoRA 得场景 token、相机与深度点图；下支 HMR+Pelvis Readout 交叉注意力出 SMPL-X；Scale Readout 给 σ，Sim(3) 拼窗得到米制场景、人体轨迹与相机。适合做特色图。

部署与速度

部署与速度
Figure 3: Training and deploying the Scale Readout. (1) A body ruler combines observed 2D torso extent e2, the posed body’s metric in-plane extent e3, backbone depth ˜zk and focal length f to estimate σk = (fe3/e2)/˜zk; an agreement gate yields window pseudo-labels. (2) These labels pretrain the readout on web clips. (3) Exact RICH and 3DPW targets fine-tune the readout and back- bone LoRA. (4) Deployment predicts σ from backbone tokens alone, without the ruler or teachers.

Scale Readout 四阶段：尺子伪标签→冻结骨干预训练读出头→RICH/3DPW 精确微调→部署只留骨干+读出头。公式与一致性门控写在阶段 1。

Figure 1: Metric people, scene and camera from one moving camera

Figure 1: Metric people, scene and camera from one moving camera
Figure 1: Metric people, scene and camera from one moving camera. Each panel overlays persistent people, the person-free scene and the camera path on a 1 m grid. The large EMDB example spans 33 s; its insets show pelvis-token attention and a top view against ground truth after rigid rotation-and-translation alignment, preserving the predicted scale. The remaining clips cover cyclic motion, a 14-person street, stairs and an indoor walk. Inference receives a single monocular video.

首页结果拼图：在 1 m 网格上叠加持久人体、无行人场景与相机路径。主例 33 s EMDB 长走含骨盆注意力与俯视对比；另有绕圈、14 人街道、坡道楼梯与室内行走。

实验如何设计？

  • 遵循已发表 EMDB-2 25 序列与 RICH 协议；WA 相似对齐，W 对齐前两帧，RTE 只对齐刚体位移因而保留尺度误差。
  • 对照含 SLAHMR/COIN/TRAM/PromptHMR-vid/JOSH 等优化式，以及 WHAM/GVHMR/Human3R/UniSH/JOSH3R/SHOW 等前馈式。
  • 另报 3DPW 局部身体、关联组件实验、尺度阶段消融、7Scenes 点图精度，以及单卡运行时。

关键结果与论文证据

  • EMDB-2：WildHSR 66.3 / 193.6 / 0.9；作者称是表内首个在 WA 与 RTE 上超过最佳优化式的前馈方法，前馈子集三项全第一。W-MPJPE 仍落后于优化式 JOSH 的 174.7。
  • RICH：73.2 / 163.1 / 2.7，前馈人景里 WA/W 最好；RTE 略逊 SHOW。去掉 ITW 伪标签预训练后误差明显变差，说明尺子预训练不只是数据点缀。
  • 局部身体与关联：3DPW 上 PA-MPJPE 38.7 mm；组合关联代价把 ID switch 压到 39。长序列相机—人距离误差约 5.4–6.0%；688×384 完整管线 10.1 fps。Fig.1 展示 33 秒长走、绕圈、14 人街道与楼梯等米制可视化。

阅读时需要注意

  • 遮挡与交互时身份变弱；是否特异于人类未测。
  • 拼窗离线；与部分基线的训练数据配比可能不同，RICH 数字需连协议一起读。
  • 网页数据与人体先验有偏见与误用风险；作者明确反对生物识别与高风险用途。
  • 代码“将发布”，当前公开入口待核验，不能当作已复现。

关联工作

  • 米制原生基础模型直接学米；本文故意建立在 up-to-scale 强表示上，另学换算。
  • Human3R、UniSH、SHOW 等同样做人景，但尺度与跟踪来源不同。
  • 注意力可分离动静态、基础模型可被探针读出 3D 结构——WildHSR 把类似思路用到人物对应与尺度迁移。

发表评论