GRADE 方法

GRADE：视觉退化条件下的单帧生成式雷达深度估计

作者

快速导读：GRADE 通过结合雷达几何约束与预训练扩散模型先验，在烟雾等视觉退化环境下实现了高精度的单帧毫米波雷达深度估计。

在烟雾、浓雾或黑暗等视觉退化环境中，传统光学传感器如相机和 LiDAR 往往因信号衰减而失效。毫米波雷达虽然具备全天候工作能力，但受限于单芯片的小孔径，其角分辨率较低，导致直接生成的深度图稀疏且模糊，难以满足下游任务对密集度量深度的需求。现有的多模态融合方法通常将相机作为主要特征源，这在光学信号缺失时会导致性能崩溃；而合成孔径雷达（SAR）方法则依赖受控运动，不适用于静态或里程计不可靠的场景。

英文题目：GRADE: Single-Frame Generative Radar Depth Estimation Under Visual Degradation

论文出处：arXiv 每日论文精选 · arXiv:2609.10756

原始论文：PDF / 论文页面

这篇论文解决什么问题？

毫米波雷达在恶劣天气下的鲁棒性使其成为深度感知的潜在替代方案，但其物理特性决定了单帧数据的局限性。雷达频谱包含距离、多普勒、方位角和俯仰角信息，但直接映射到深度图时，由于角分辨率低，往往只能提供粗略的全局布局，缺乏精细的结构细节。

核心创新

  • 首个将基于扩散的生成式细化应用于单帧（非 SAR）雷达深度估计的系统，将视觉基础模型先验锚定在雷达几何上。
  • 设计了雷达到深度的转换阶段，通过 Transformer 编码器-解码器桥接 RF 与视觉域，提供持续的度量几何基础。
  • 提出了像素空间残余视觉引导机制，采用 ControlNet 风格适配器与零初始化跳跃连接，实现随可见度降低而优雅退化的视觉线索融合。
  • 构建了包含真实烟雾数据的建筑级不相交数据集，验证了跨场景泛化能力。

方法概览

GRADE 是一个两阶段框架：Stage 1 使用 Radar Depth Module 将 4D 雷达频谱映射为粗略度量深度；Stage 2 使用 Diffusion Refinement Module 以雷达深度为条件，利用预训练潜扩散模型恢复结构细节，同时通过 RGB Visual Guidance Module 在像素空间注入残余视觉线索以抑制幻觉。

  • Stage 1 雷达深度模块：使用 Transformer 编码器-解码器将 4D 雷达频谱映射为粗略度量深度，桥接射频域与视觉域。
  • Stage 2 扩散细化模块：以雷达深度为条件，利用预训练潜扩散模型（基于 Marigold 初始化）恢复结构细节。
  • RGB 视觉引导模块：在像素空间注入残余视觉线索，采用 ControlNet 风格适配器与零初始化跳跃连接。
  • 优雅退化机制：当可见度降低时，视觉引导权重自动降低，模型退化为雷达条件路径，避免幻觉。

逐图理解论文

直觉与失败案例

直觉与失败案例
Figure 1: GRADE estimates depth from clear through heavy-smoke conditions while preserving more scene structure than the evaluated baselines.

该图展示了 GRADE 在从清晰到重度烟雾条件下的深度估计结果。观察 GRADE 列，即使在重度烟雾下，场景结构仍保持完整，而基线方法如 DA3 和 CaFNet 则出现严重的结构丢失。

研究空白

研究空白
Table 1 summarizes the main differences from prior work. Depth Under Visual Degradation. Thermal cameras [41] and multi-echo LiDAR [38] extend optical-band sensing but remain attenuated by dense smoke [3] and provide no metric depth under uniform heating. Image restoration [10, 18, 31, 59] and diffusion inpainting [36, 44] require residual visual signal; they fail when the optical path is blocked. These approaches remain coupled to optical availability, the failure regime GRADE targets. Multi-Modal Radar Fusion. Camera-radar [33, 46, 50, 52] and radar-LiDAR/NIR stacks [22, 39, 57] compensate for radar sparsity by treating the optical sensor as the primary feature source. This assumption breaks under degradation:

现有方法要么依赖光学信号，要么需要受控运动，缺乏在静态平台下结合雷达几何与视觉先验的生成式细化方案。

GRADE 方法

GRADE 方法
Figure 2: System architecture of GRADE. The Radar Depth Module (Stage 1) maps the 4D radar spectrum to a coarse metric depth. The Diffusion Refinement Module (Stage 2) conditions a pretrained latent diffusion backbone on this radar depth, recovering fine structural detail using learned world priors. The RGB Visual Guidance Module (also Stage 2) injects pixel-space residual cues from the camera into the diffusion denoising process, providing spatial grounding when the image is reliable.

系统架构图清晰展示了两个阶段的流程。Stage 1 将雷达频谱映射为粗略深度，Stage 2 利用扩散模型和 RGB 引导进行细化。注意 RGB 引导模块的零初始化跳跃连接设计。

核心贡献

核心贡献
Figure 7: RGB guidance improves detail when useful visual features remain and falls back to radar-only in zero-visibility.

该设计将视觉基础模型先验锚定在雷达几何上，实现了随可见度降低而优雅退化的视觉线索融合，避免了零可见度下的幻觉。

实验验证

实验验证
Table 3 separates the smoke results by the sensor thresh- olds defined above. DA3’s MAE rises from 0.548 m in light smoke to 1.751 m in heavy smoke, and its CD rises from 0.290 to 7.796 m2. CaFNet shows the same directional trend: its CD rises from 0.278 to 3.503 m2. The clear-only CaFNet variant reaches 3.164 m2 under heavy smoke, so smoke train- ing does not provide a consistent advantage across these strata. RadarCam-Depth degrades more gradually, with CD increasing from 0.332 to 0.703 m2. The raw-radar methods change much less with smoke. GRT’s MAE varies from 0.442 to 0.404 m and GRT+Image from 0.415 to 0.404 m. GRADE changes from 0.295 to 0.304 m MAE and from 0.122 to 0.129 LPIPS between light and heavy smoke. In the heavy stratum, its CD is 0.104 m2, compared with 0.137 m2 for GRT+Image and 0.173 m2 for GRT.

该表按烟雾密度分层展示了各方法的性能。重点观察 GRADE 在重度烟雾下的 CD 值，其稳定性远超相机依赖的基线方法，验证了雷达几何基础的重要性。

实验如何设计？

  • 数据集：在 12 栋建筑中采集约 95K 帧数据，其中 40K+ 帧为真实烟雾环境。
  • 测试集：在 25K+ 帧未见过的建筑测试集上评估，确保跨场景泛化能力。
  • 基线对比：包括 DA3, CaFNet, GRT, RadarCam-Depth 等单帧雷达和相机依赖方法。

关键结果与论文证据

  • 在烟雾环境下，GRADE 的 MAE 仅从 Clear 到 Smoke 增加 3.3%，表现出极高的稳定性。
  • 在重度烟雾下，GRADE 的 CD 为 0.104 m²，显著优于 GRT (0.173 m²) 和 GRT+Image (0.137 m²)。
  • 消融实验表明，雷达模块提供基础几何，扩散细化恢复细节，视觉引导在可见时进一步提升精度。
  • 在雷达几何模糊时，扩散模型仍可能产生幻觉，但 RGB 引导可有效缓解。

阅读时需要注意

  • 8 步 DDIM 采样存在计算瓶颈，未针对实时可穿戴操作优化。
  • 单帧独立估计缺乏时间一致性，未强制序列间的几何连贯性。
  • 评估仅限于室内场景和真实烟雾，未覆盖室外几何或不同传感器配置。

关联工作

  • GRT 是最强单帧雷达基线，GRADE 通过扩散细化解决了其分辨率瓶颈。
  • Marigold 提供了预训练的视觉先验，被 GRADE 用于深度细化。
  • DA3 和 CaFNet 在烟雾下性能急剧下降，突显了光学依赖的缺陷。

发表评论