核心贡献

天气条件化的 Depth Anything

作者

快速导读：提出 DA-W 框架，通过 Style Filter 提取天气嵌入并利用 AdaLN-Zero 注入 Depth Anything 解码器，在保持清洁场景性能的同时显著提升恶劣天气下的单目深度估计鲁棒性。

单目深度估计是自动驾驶和机器人领域的关键组件，但现有基础模型在雾、雨、雪或夜间等恶劣天气条件下性能显著下降。本文提出 DA-W 框架，通过显式分离天气风格与场景内容，在保持清洁场景性能的同时提升恶劣天气下的鲁棒性。

DA-W 的核心在于两个模块：Style Filter 和 Weather-Conditioned Decoder。Style Filter 利用对比学习提取内容无关、天气判别性强且域对齐的天气嵌入；Weather-Conditioned Decoder 在冻结的 Depth Anything 编码器基础上，仅微调 DPT 解码器，通过零初始化的 AdaLN-Zero 模块注入天气嵌入，实现参数高效的天气条件化调制。

英文题目：Weather-Conditioned Depth Anything

论文出处：arXiv 每日论文精选 · arXiv:2609.04827

原始论文：PDF / 论文页面

这篇论文解决什么问题？

现有单目深度估计基础模型（如 Depth Anything 系列）在恶劣天气下表现脆弱，主要因为天气外观与场景几何特征纠缠，且缺乏针对真实恶劣天气的大规模标注数据。现有改进策略主要分为两类：一是先恢复图像再估计深度（易破坏几何线索），二是直接训练天气感知模型（依赖昂贵的真实数据或泛化性差的合成数据）。

Depth Anything v2 等基础模型在恶劣天气下表现脆弱，其特征空间未能有效分离天气风格与场景内容。例如，在雾天场景中，模型往往将雾气误判为深度变化，导致深度图出现大面积模糊和结构丢失。这种问题在夜间和雨雪天气中尤为突出，严重影响了自动驾驶和机器人系统的可靠性。

此外，现有方法在应对多种天气共现条件时表现不佳。真实世界中的恶劣天气往往是多种退化条件的组合，如雾+雨+雪+夜间，而大多数基准测试仅评估单一退化条件，导致模型在复杂场景下的泛化能力不足。

核心创新

  • 提出 Style Filter 模块，通过多尺度 Gram 矩阵和对比学习提取域对齐的天气嵌入，解决合成到真实的域差距问题。
  • 设计基于 AdaLN-Zero 的轻量级天气条件化机制，仅微调解码器，避免灾难性遗忘，保持清洁场景下的泛化能力。
  • 构建包含 7 个真实恶劣天气数据集和 4 个清洁数据集的混合训练集，并引入 Mix-weather 基准测试共现退化条件。

方法概览

DA-W 包含两个主要模块：1. Style Filter：利用对比学习在混合真实与合成退化数据集上训练，提取内容无关、天气判别性强且域对齐（真实-合成）的 64 维天气嵌入；2. Weather-Conditioned Decoder：在冻结的 Depth Anything 编码器基础上，仅微调 DPT 解码器，通过零初始化的 AdaLN-Zero 模块在五个解码器尺度注入天气嵌入，实现参数高效的天气条件化调制。训练采用伪标签蒸馏、成对对齐和增强一致性损失。

  • Style Filter 模块利用多尺度 Gram 矩阵提取图像的风格统计特征，并通过对比学习在混合真实与合成退化数据集上训练，确保提取的天气嵌入内容无关、天气判别性强且域对齐。
  • Weather-Conditioned Decoder 在冻结的 Depth Anything 编码器基础上，仅微调 DPT 解码器，通过零初始化的 AdaLN-Zero 模块在五个解码器尺度注入天气嵌入，实现参数高效的天气条件化调制。
  • 训练采用伪标签蒸馏、成对对齐和增强一致性损失，确保模型在恶劣天气下生成准确的深度图，同时保持清洁场景下的性能。
  • 构建包含 7 个真实恶劣天气数据集和 4 个清洁数据集的混合训练集，并引入 Mix-weather 基准测试共现退化条件，提升模型在复杂场景下的泛化能力。
  • AdaLN-Zero 的零初始化策略对于保持清洁场景性能至关重要，非零初始化可能导致性能退化。
  • Style Filter 的训练依赖于精心策划的真实与合成数据混合，数据质量对域对齐效果至关重要。

逐图理解论文

失败案例

失败案例
Fig. 1: Depth estimation results under various real-weather degraded condi- tions. Our DA-W generates accurate details and well-preserved structure under snow, fog, rain, and low-light conditions. Compared with Depth Anything v2 [61] and Depth Anything-AC [48], our method produces finer-grained and more robust predictions.

该图展示了 DA-W 在多种真实恶劣天气条件下的深度估计结果。与 Depth Anything v2 和 DepthAnything-AC 相比，DA-W 在雪、雾、雨和低光条件下生成了更准确、结构保持更好的深度图。观察红色框区域，DA-W 保持了更清晰的细节和更平滑的深度过渡，而其他方法则出现噪声伪影和深度不连续。

研究缺口

研究缺口
Fig. 3: Feature space comparison for style characterization. Depth Anything v2 [61] CLS tokens fail to separate weather conditions, while our style filter features form distinct clusters.

该图对比了 Depth Anything v2 和 DA-W 的特征空间。Depth Anything v2 的 CLS tokens 未能有效分离不同天气条件，而 DA-W 的 Style Filter 特征形成了明显的聚类。这表明 DA-W 成功提取了内容无关、天气判别性强的特征，为后续的天气条件化调制奠定了基础。

核心贡献

核心贡献
Fig. 4: Overview of our proposed DepthAnything-W. (a) The training pipeline: clean and degraded images pass through the Depth Anything backbone, with weather embeddings from the Style Filter injected via AdaLN-Zero at multiple decoder scales to produce weather-conditioned depth maps supervised by Ldis and Lalign. (b) The Style Filter extracts weather embeddings from images via multi-scale Gram matrices, using contrastive learning to cluster by weather type while maintaining scene invariance and real-synthetic alignment.

该图展示了 DA-W 的整体架构。训练管道中，清洁和退化图像通过 Depth Anything 骨干网络，Style Filter 提取的天气嵌入通过 AdaLN-Zero 在多个解码器尺度注入，生成天气条件化的深度图，并由 Ldis 和 Lalign 监督。Style Filter 通过多尺度 Gram 矩阵和对比学习提取天气嵌入，确保按天气类型聚类并保持场景不变性和真实-合成对齐。

最强结论

最强结论
Table 1: Zero-shot relative depth estimation on real adverse-weather benchmarks. “–” denotes unavailable results (not reported or not supported by the released model, e.g., MWFormer on NuScenes-night and RobotCar-night).

该表展示了在真实恶劣天气基准上的零样本相对深度估计结果。DA-W 在 NuScenes-night、RobotCar-night 和 DrivingStereo 上均优于 Depth Anything v2 和 DepthAnything-AC，特别是在夜间和雨雪条件下表现显著。这表明 DA-W 在真实恶劣天气下具有更强的鲁棒性。

实验如何设计？

  • 在真实恶劣天气基准（NuScenes-night, RobotCar-night, DrivingStereo）上评估零样本相对深度估计性能。
  • 在合成退化基准（KITTI-C）上评估 Dark, Snow, Fog, Motion 条件下的鲁棒性。
  • 在清洁场景基准（KITTI, NYU-D, Sintel, ETH3D, DIODE）上验证是否发生灾难性遗忘。
  • 在 Mix-weather 基准（KITTI Eigen split 组合退化）上评估多种天气共现条件下的性能。
  • 消融实验分析微调策略（全量 vs 解码器）、数据组成（含/不含真实退化）和天气条件化开关的影响。
  • 损失函数消融实验，验证蒸馏损失、成对对齐损失和增强一致性损失的贡献。

关键结果与论文证据

  • 在天气基准上平均提升 AbsRel 3.7%（第 2 页）。
  • NuScenes-night: AbsRel 0.194, δ1 0.737 (优于 DA v2 的 0.200/0.725)（第 9 页）。
  • KITTI-C Snow: AbsRel 0.107, δ1 0.884 (优于 DA v2 的 0.115/0.872)（第 9 页）。
  • KITTI (Clean): AbsRel 0.080, δ1 0.937 (保持与 DA v2 相当或略优)（第 11 页）。
  • Mix-weather (Fog+Rain+Snow+Night): δ1 0.630, AbsRel 0.236 (优于 DA v2 的 0.562/0.268)（第 12 页）。
  • 消融实验：移除 Ldis 导致 Global AbsRel 从 0.117 升至 0.352（第 15 页）。

阅读时需要注意

  • 实验主要基于 DA-v2-S 模型，扩展到其他变体或基础模型需要匹配适配头和优化设置。
  • 在 RobotCar-night 等真实夜间基准上表现仍不如 DepthAnything v3 和 DepthPro，可能受相机响应、曝光动态和运动模糊等非天气因素限制。
  • 在 DS-fog 等特定合成退化条件下，天气条件化的收益不明显甚至略有下降。

关联工作

  • Depth Anything v2 是基础模型，DA-W 在其解码器上添加天气条件化模块（第 1 页）。
  • DepthAnything-AC 使用物理退化建模和知识蒸馏，DA-W 在恶劣天气下表现更优且边界更清晰（第 1 页）。
  • MWFormer 采用两阶段恢复+深度估计，DA-W 避免了预处理误差累积（第 9 页）。
  • WeatherDepth 使用课程对比学习，DA-W 通过显式风格分离实现更鲁棒的泛化（第 5 页）。
  • RoboDepth 提供 Mix-weather 基准的合成退化组合方法（第 12 页）。

发表评论