核心贡献

当深度有害时：用于无深度 RGB-D 显著性目标检测的可靠性感知几何蒸馏

作者

快速导读：GeoDistill 提出一种深度无关的 RGB-D 显著性目标检测框架，通过从冻结的 Depth Anything V2 教师模型蒸馏几何信息，并在推理时移除教师，利用可靠性感知融合机制解决传感器深度噪声导致的性能下降问题。

RGB-D 显著性目标检测（SOD）长期面临一个反直觉的困境：引入深度信息本应解决外观歧义，但在实际基准测试中，许多融合原始深度的模型性能反而低于纯 RGB 模型。这一现象揭示了传感器深度在缺失、模糊和结构伪影方面的固有缺陷，使得直接融合或监督策略容易引入噪声污染。本文提出的 GeoDistill 框架从根本上改变了这一范式，主张在训练和推理阶段均不使用数据集提供的原始深度，而是通过知识蒸馏从基础几何模型中提取任务导向的几何先验。

GeoDistill 的核心贡献在于构建了一个深度无关的 RGB-D SOD 架构。该架构利用冻结的 Depth Anything V2 作为教师模型，在训练时通过值、特征和边界三个层面对学生几何分支进行监督。推理时，教师模型被完全移除，仅保留经过可靠性感知融合机制调节的几何特征。这种设计不仅避免了深度噪声的传播，还通过像素级可靠性估计器动态控制几何信息的注入，确保几何先验仅在有助于显著性预测时发挥作用。

英文题目：When Depth Hurts: Reliability-Aware Geometry Distillation for Depth-Free RGB-D Salient Object Detection

论文出处：arXiv 每日论文精选 · arXiv:2609.03378

原始论文：PDF / 论文页面

这篇论文解决什么问题？

现有 RGB-D SOD 方法主要采用两种策略处理深度信息：一是将原始深度作为并行输入与 RGB 特征融合，二是利用深度监督单目深度分支。然而，公开基准中的深度图质量参差不齐，传感器噪声、边界模糊和结构伪影在这些策略中会被直接传播到融合层或优化目标中，导致性能下降。例如，在深度图包含结构化背景响应的场景中，直接融合方法往往会产生大量假阳性，而纯 RGB 模型则可能因外观歧义而漏检。

知识蒸馏和基础几何模型的发展为这一问题提供了新的解决途径。Depth Anything V2 等模型能够从 RGB 图像中估计出高质量的相对深度和层级特征，这些特征虽然不具备度量精度，但包含了丰富的几何结构信息。GeoDistill 正是利用了这一特性，将教师模型的几何先验蒸馏到紧凑的学生分支中，从而在避免原始深度噪声的同时，保留了深度信息对显著性检测的辅助价值。

此外，现有的不确定性建模或质量校准方法虽然试图缓解深度噪声的影响，但它们仍然依赖于有缺陷的深度模态，无法从根本上解决深度缺失或严重失真时的性能退化问题。GeoDistill 提出的 Depth-free 范式则彻底摆脱了对原始深度的依赖，为多模态融合提供了一种更鲁棒的替代方案。

核心创新

  • 提出 Depth-free RGB-D SOD 范式，在训练和推理中均不使用数据集提供的原始深度，避免深度噪声传播。
  • 开发多级几何蒸馏机制，从冻结教师模型转移相对深度、层级注意力和边界结构到紧凑的学生几何分支。
  • 引入跨模态增强和可靠性感知融合，通过像素级可靠性估计器动态调节几何信息对显著性预测的贡献，抑制几何上合理但与显著性无关的结构。

方法概览

GeoDistill 包含三个阶段：1) 共享编码器构建 RGB 金字塔；2) 几何分支通过 AETP 和 ESC 解码器学习几何特征，并在训练时由冻结的 Depth Anything V2 在值、特征和边界层面进行监督；3) 跨模态增强和可靠性感知融合模块，通过双向注意力对齐几何与外观，并利用像素级可靠性估计器控制几何信息的注入，最终由独立的 SOD 解码器输出预测。

  • 共享编码器构建 RGB 金字塔：GeoDistill 首先通过共享编码器提取 RGB 图像的多尺度特征，形成四级外观金字塔，为后续的几何学习和显著性预测提供基础特征表示。
  • 几何分支与多级蒸馏：几何分支采用 AETP 和 ESC 解码器结构，在训练时由冻结的 Depth Anything V2 在预测值、层级特征和边界结构三个层面进行监督。这种多级蒸馏机制确保了学生分支能够学习到教师模型的几何先验，同时保持架构的紧凑性。
  • 跨模态增强模块：通过双向注意力机制对齐几何特征与外观特征，增强几何信息对显著性区域的表达能力。该模块能够捕捉几何与外观之间的互补关系，提升特征融合的质量。
  • 可靠性感知融合机制：引入像素级可靠性估计器，动态评估几何信息与外观信息的一致性。可靠性估计器输出每个像素的几何可信度，用于调节几何特征对最终显著性预测的贡献，抑制几何上合理但与显著性无关的结构。
  • 独立 SOD 解码器：最终的显著性预测由独立的 SOD 解码器完成，该解码器接收经过可靠性感知融合后的几何校准金字塔，输出最终的显著性掩码。这种设计确保了显著性预测的独立性和鲁棒性。
  • 推理时教师移除：在推理阶段，Depth Anything V2 教师模型被完全移除，仅保留学生几何分支和融合模块。这种设计确保了推理效率与纯 RGB 模型相当，避免了额外的计算开销。

逐图理解论文

失败案例

失败案例
Figure 3: Qualitative comparison. Rows cover three representative depth conditions: informative but RGB-ambiguous geometry, depth maps contaminated by structured background, and incomplete or blurred depth boundaries. GeoDistill preserves complete salient regions and suppresses depth-induced false positives across all three conditions.

该图展示了 GeoDistill 在三种代表性深度条件下的定性对比：RGB 模糊但几何丰富、深度图包含结构化背景、深度边界模糊。重点观察 GeoDistill 在抑制假阳性和保持物体轮廓方面的优势。

研究空白

研究空白
Figure 1 summarizes the resulting gap. Conventional RGB-D SOD either treats raw depth as a parallel input or uses it to supervise a monocular-depth branch coupled with

现有方法要么直接融合原始深度，要么用其监督单目分支，都难以摆脱深度噪声的传播；而知识蒸馏和基础几何模型提供了从 RGB 学习几何的新途径。

核心贡献

核心贡献
Figure 2: Architecture of GeoDistill. A shared encoder forms a four-level appearance pyramid. During training, Depth Anything V2 supervises the geometry branch at the prediction, feature, and boundary levels. Cross-modal enhancement and reliability- aware fusion produce a geometry-calibrated pyramid for the SOD decoder. Dashed teacher paths are removed after training.

该图展示了 GeoDistill 的整体架构，包括共享编码器、几何分支、跨模态增强和可靠性感知融合模块。重点观察虚线表示的教师路径，这些路径在训练时存在，但在推理时被移除，确保了推理效率。

最强结论

最强结论
Table 1: Quantitative comparison on nine RGB-D SOD benchmarks. Numbers in parentheses are test-set sizes. Best and tied-best results are bold.

该表展示了 GeoDistill 在 9 个 RGB-D SOD 基准上的定量对比结果。重点观察加粗的最佳结果分布，特别是在 ReDWeb-S 和 SSD 等深度噪声较大的数据集上的性能提升。

意义与局限

意义与局限
Table 4: Depth-use strategies. Best results are bold.

该表展示了不同深度使用策略（RGB-only, Raw depth, Distilled geometry）的消融实验结果。重点观察 Distilled geometry 相比 Raw depth 的性能提升，验证了蒸馏几何的有效性。

实验如何设计？

  • 在 9 个 RGB-D SOD 基准（NJU2K, NLPR, DUT-RGBD, ReDWeb-S, SIP, SSD, STERE, COME-E, COME-H）上与 10 种近期方法对比，评估模型在标准 RGB-D 场景下的性能。
  • 在 4 个 RGB SOD 基准（DUTS-TE, ECSSD, HKU-IS, PASCAL-S）上验证模型的泛化能力，确保 GeoDistill 在纯 RGB 场景下不逊于专用 RGB 模型。
  • 消融实验包括投影器容量（C=64, 128, 256）、深度使用策略（RGB-only, Raw depth, Distilled geometry）和几何架构/教师监督贡献，以验证各组件的有效性。
  • 与 SATNet（伪深度替代方法）的直接对比，评估 GeoDistill 在避免原始深度噪声方面的优势。

关键结果与论文证据

  • 在 36 个指标-数据集组合中，GeoDistill 在 26 个（72.2%）中取得最佳或并列最佳结果，显著优于现有 RGB-D SOD 方法（第 5 页）。
  • 在 ReDWeb-S 上，MAE 相对降低 13.4%，Sm, Fβmax, Emaxξ 分别提升 3.9%, 4.5%, 2.4%，表明 GeoDistill 在深度噪声较大的场景中具有显著优势（第 5 页）。
  • 在 PASCAL-S 上，相比最强先前方法，Fβmax 提升 4.2%，验证了 GeoDistill 在纯 RGB 场景下的泛化能力（第 5 页）。
  • 相比 SATNet，GeoDistill 在所有 36 个组合中均更优，SSD 上 MAE 相对降低 29.5%，证明多级几何蒸馏优于单通道伪深度输入（第 5 页）。
  • 消融实验显示，相比 RGB-only，蒸馏几何在 SIP 上 MAE 降低 28.3%，在 COME-H 上降低 18.8%，验证了可靠性感知融合机制的有效性（第 6 页）。
  • 定性分析表明，在 RGB 外观模糊但几何信息丰富的场景中，GeoDistill 能够恢复完整的显著区域；在深度图包含结构化背景响应的场景中，GeoDistill 能够抑制假阳性；在深度边界模糊的场景中，GeoDistill 能够更一致地保持物体轮廓（第 5-6 页）。

阅读时需要注意

  • 训练阶段需要冻结的 Depth Anything V2 教师模型，增加了训练成本，尽管推理时无额外开销。
  • 几何图表示的是任务导向的相对结构，而非校准的度量深度，不能替代物理传感器用于测量任务。
  • 在 NLPR 和 DUT-RGBD 等训练分布内的数据集上，性能并非全面最佳，仅在跨数据集变化大的基准上优势最明显。
  • 该方法依赖于 Depth Anything V2 的几何先验，若教师模型在特定场景下失效，可能影响蒸馏质量。
  • 可靠性估计器需要准确评估几何与外观的一致性，若估计偏差较大，可能抑制有用几何信息或引入噪声。
  • 实验主要在标准 RGB-D 基准上进行，未在极端深度缺失或完全无深度信息的真实场景中验证。

关联工作

  • SATNet：对比方法，使用单目伪深度替代传感器深度，GeoDistill 通过层级蒸馏优于其单通道伪深度输入（第 5 页）。
  • ESCNet：提供 AETP 和 ESC 解码器结构，GeoDistill 将其从伪装检测适配到几何学习（第 2 页）。
  • Depth Anything V2：作为冻结教师模型，提供密集相对深度和层级特征用于蒸馏（第 2 页）。
  • UC-Net：先前工作，通过不确定性建模处理深度噪声，但仍依赖深度模态（第 2 页）。

发表评论