论文代表图：figure-07-p010-02

FounRef：用稀疏锚点对冻结单目基础先验做结构保持的快速度量精炼

作者

快速导读：FounRef 是无需任务训练的模块化流程：用稀疏度量锚点校准冻结单目深度先验，经表面一致性过滤与双边网格结构保持求解，得到稠密度量深度。

真实三维应用需要的不只是“某个深度数更接近真值”，还包括表面是否干净、边界是否忠实，以及大批图像是否算得起。单目基础模型常给出可迁移的细几何，却缺可靠度量尺度；稀疏到稠密深度补全能回尺度，却往往把法线噪声、域偏移或数百毫秒延迟一起带上。

FounRef（arXiv:2609.29224，University of the Bundeswehr Munich）提出训练无关的模块化精炼：冻结单目先验负责结构，稀疏度量锚点负责尺度，再用表面一致性过滤与结构保持求解把二者对齐。先验、锚点源与求解器可各自替换；论文默认用 MoGe-2 与 LiDAR 锚点。

英文题目：FounRef: Robust, Structure-Preserving, and Fast Metric Refinement of Frozen Monocular Foundation Priors with Sparse Anchors

论文出处：arXiv 每日论文精选 · arXiv:2609.29224

原始论文：PDF / 论文页面

这篇论文解决什么问题？

单图度量深度本质上不适定：相对结构线索丰富，但跨相机与跨场景的绝对尺度不够。车载或建图系统却经常只有 RGB、内参和稀疏度量观测，仍要输出稠密度量图。

把问题做成学习式深度补全，会把精度绑在训练数据、传感器配置与稀疏模式上；换机架或换域可能需要重训。即便 RMSE 好看，法线图与物体边界仍可能出现肉眼可见伪影——Figure 1 把 RMSE、表面离散与耗时放在同一平面，提醒“只盯误差轴不够”。

FounRef 的取舍是：不重新学习 RGB–稀疏深度映射，而是继承冻结先验的跨域结构，只估计锚点支持的度量修正。

核心创新

  • 训练无关、模块化：度量对齐与几何预测解耦，直接继承冻结先验的跨域结构。
  • 表面一致性锚点验证：相对几何-only 过滤（如 RePLAy），能拒掉挡风玻璃/镜像/动态目标等跨传感器不一致。
  • 结构保持双边求解：相对像素级 Poisson/TGV，减少锚点印记与表面 bumps，同时保持低延迟。
  • 同一求解器可调 σs 在 RMSE 与法线离散之间切换工作点，不改运行时。

方法概览

算法流水线：冻结先验给出 Dprior 与有效掩码；锚点截断到 50m 并 80/20 划分拟合/留出集；用 Huber 线性校准得 Dcal，再按深度分箱做局部残差校正。启用验证时，先用轻量局部求解得参考面 D1，按 |log zi−log D1(ui)|≤τ 过滤锚点（KITTI τ=0.45，nuScenes τ=0.2）。最终在双边网格上求解对数残差，使修正沿先验表面传播并在深度不连续处停止。先验、锚点源与求解器均可独立替换；默认实例用 MoGe-2 + LiDAR 锚点。

  • 流水线（Algorithm 1）：先验输出 Dprior 与有效掩码；锚点截断到 Dmax=50m，并固定种子划分为 80% 拟合 / 20% 留出。
  • 全局校准在对数深度上拟合稳健线性映射，再按深度分箱记录平均残差并插值，避免单条直线在不同距离段同等失配；锚点过少时退化为仅线性项，没有锚点则保留先验。
  • 锚点验证：只用当前拟合锚点做一次轻量局部求解得到参考面 D1，保留满足 |log zi−log D1(ui)|≤τ 的锚点。对数阈值衡量相对不一致，对远距更公平；KITTI 用较松的 τ=0.45，nuScenes 等更噪数据用 τ=0.2。
  • 最终 FullSolve 在图像位置与对数先验深度构成的双边网格上最小化加权残差加双边拉普拉斯平滑，使修正沿同一预测表面共享，并在深度不连续处停止传播——例如近处杆上的锚点不应把背景拉近。
  • 半分辨率求解与 Jacobi 预处理共轭梯度控制成本；σs（空间带宽）与 λ 可调：减小 σs 让修正更局部，RMSE 常降、法线离散常升，形成可解释工作点。

逐图理解论文

误差不够

误差不够
Figure 1: Accuracy is not the only axis. Metric error against sur- face dispersion on KITTI (n=500 frames, identical anchors for every method); marker area grows with runtime. A single configu- ration change moves our point to 0.663 m at 11.2◦without affecting runtime

图1在 KITTI（n=500、相同锚点）上把 RMSE 与表面离散作成散点，标记面积随 runtime 增大。ours 落在低误差、低离散、短耗时区域；文中指出改配置可到 0.663m@11.2°且不影响 runtime。适合做问题动机与总结果入口图。

校准与验证

校准与验证
Figure 2: Global calibration of four priors on the same frame. Top: raw predictions use incompatible depth scales; DA-V2 is relative. Bottom: after fitting the same sparse anchors, all priors share a metric scale while preserving their edges and relative layout. All depth panels use the 0–80m range. Pixels a prior marks invalid (sky) are drawn at the far end (MoGe-2 provides an invalid map, while depth pro predicts them at 10, 000m).

图2对比四先验同一帧：上行原始预测尺度互不兼容（DA-V2 为相对深度），下行拟合同一稀疏锚点后共享 0–80m 度量色标，同时保留边缘与相对布局。天空无效像素被画到远端。说明全局校准如何把异质先验拉到可比较的度量空间。

结构保持求解

结构保持求解
Figure 3: Anchor filtering on a cluttered KITTI crop. RePLAy retains returns through windshields, mirrors, and moving-vehicle silhouettes, whereas FounRef rejects them because they disagree with the locally refined smooth surface D1.

图3展示锚点过滤：相对 RePLAy，FounRef 依据局部精炼参考面 D1 拒掉与平滑表面不一致的回波（含运动目标轮廓等），过滤后点云更干净。这是相对几何-only 过滤的关键定性证据。

实验如何设计？

  • 主表：五验证集各 500 帧、相同锚点、无数据集特定重标定；KITTI/NYU 用稠密 GT，其余用留出 20% 点云；另报 30–50m 远距 RMSE、法线离散与 Waymo 上的 A100 延迟。
  • 求解器对照固定先验/校准/锚点/权重，只换正则（双边、Screened Poisson、TGV2-L2）。
  • 先验选择比较多款单目模型经同一精炼后的精度与结构谱（平坦区 incoh、纹理区 detail）。
  • 过滤实验对比 RePLAy 与 oracle，覆盖单扫与约 10 扫时序累积；另有流水线阶段与锚点稀疏度扫描。

关键结果与论文证据

  • Table 1：KITTI 上 Ours 为 RMSE 0.726、surf 10.8°、约 78ms；σs4 配置到 0.663 / 11.2°。相对 DMD3C 的 0.677 / 40.1° / 1219ms，表面离散显著更低且更快；摘要归纳域外可达约 24% 更低深度误差、约 92% 更低表面噪声、近 15× 加速（页1、页6）。
  • Figure 1 把“ours”点放在低 RMSE、低表面离散、小标记（短耗时）的交汇区，并注明改配置可到 0.663m@11.2°而不改 runtime。
  • Figure 2：同一帧上 MoGe-2、Metric3D-V2、DA-V2、DepthPro 原始尺度互不相容，甚至 DA-V2 为相对深度；拟合同一稀疏锚点后共享 0–80m 度量色标，同时保留各自边界与相对布局。
  • Figure 3：杂乱 KITTI 裁剪中，RePLAy 仍保留挡风玻璃/镜像/运动目标轮廓上的回波，而 FounRef 因与局部精炼平滑面 D1 不一致而拒绝，过滤后背景更干净。
  • 求解器表：双边法线扰动与锚点印记更小、更快；Poisson/TGV 更贴锚点但表面 bumps 与耗时更差。过滤只丢掉很小比例锚点，但被丢弃者相对误差显著更高。

阅读时需要注意

  • 只能校正先验已经表示出的表面位置，无法可靠补全先验缺失或错误解释的几何。
  • 结构保持是归纳偏置：在穿透式回波与可见前景冲突时可能偏向图像表面，抬高点误差。
  • 更激进局部拟合会重现“降 RMSE、伤结构”的权衡；跨域榜上也没有任何学习基线在五数据集上全面占优。

关联工作

  • 深度补全线：NLSPN、BP-Net、DMD3C 与零样本/基础引导的 OMNI-DC、Prior-DA、PromptDA。
  • 单目基础先验线：MoGe-2、Metric3D-V2、DepthPro、UniDepth 等。
  • 优化精炼与过滤：Fast Bilateral Solver、Poisson/TGV 变体，以及 RePLAy 等几何过滤。

发表评论