3DPS 的核心设计

用于毫米波雷达新视角合成的3D点溅射

作者

快速导读：提出3DPS，一种基于ITU-R P.2040材料模型和复数PSF溅射的可微分点渲染器，在保持物理保真度和复数输出的同时，实现了毫米波雷达新视角合成的高效多视角优化。

毫米波雷达在自动驾驶中至关重要，但数据稀缺且新视角合成（NVS）面临巨大挑战。现有方法难以同时满足物理保真、复数输出和多视角可处理性。MC 射线追踪器如 Sionna RT 物理准确但速度极慢，而基于 NeRF 或 3DGS 的光学 NVS 适配方法虽然快速，却往往丢弃相位信息且缺乏显式材料建模。3DPS 旨在填补这一空白，提供一种既能保持物理一致性又能高效优化的雷达原生渲染框架。

3DPS 的核心贡献在于其雷达原生的点表示和可微分溅射操作。它从雷达方程的立体角形式出发，使用带有 ITU-R P.2040 材料向量和四元数法线的定向 3D 点。通过闭式 BSDF 评估和 Hann 窗 PSF 溅射，将复数相位子波映射到距离 bin，并利用 CUDA 内核加速。这种设计使得 3DPS 能够同时处理物理模型、复数信号链和多视角优化，在 ColoRadar 数据集上实现了 SOTA 的性能。

英文题目：3D Point Splatting for mmWave Radar Novel View Synthesis

论文出处：arXiv 每日论文精选 · arXiv:2609.11894

原始论文：PDF / 论文页面

这篇论文解决什么问题？

毫米波雷达 NVS 面临监督信号稀疏、2D 约束（缺乏仰角孔径）和视角数量有限的挑战。雷达信号是复数信号，包含幅度和相位信息，而光学 NVS 方法通常只处理强度图像，导致相位信息丢失。相位信息对于雷达感知中的多普勒估计和精确测距至关重要。因此，需要一种能够显式建模复数信号和材料散射特性的渲染器。

现有雷达渲染方法主要分为两类：MC 射线追踪器和光学 NVS 适配方法。MC 射线追踪器如 Sionna RT 通过模拟电磁波传播路径实现物理保真，但计算成本极高，单视角拟合需要数十分钟。光学 NVS 适配方法如 RadarSplat 和 Radar Fields 借鉴了 3DGS 和 NeRF 的思想，但通常只输出功率 |RA|，无法提供复数输出，且缺乏显式材料建模，导致物理一致性不足。

3DPS 的研究动机是构建一个雷达原生的可微分点渲染器，能够同时满足物理保真、复数输出和多视角可处理性。它通过引入 ITU-R P.2040 材料模型和复数 PSF 溅射操作，解决了现有方法的局限性。

核心创新

  • 首个雷达可微分点渲染器，使用雷达原生原语（带ITU材料的定向3D点）和PSF溅射操作
  • 产品无关渲染：同一优化场景通过标准FFT管道生成ADC、CRP和RA输出，无需重训练
  • 在ColoRadar数据集上实现SOTA的|RA|、|CRP|和ADC包络性能，单场景训练约3分钟

方法概览

3DPS从雷达方程的立体角形式推导，使用带有四元数法线和ITU-R P.2040材料向量的定向3D点。通过闭式BSDF评估和Hann窗PSF溅射将复数相位子波映射到距离bin，利用CUDA内核加速，支持ADC、CRP和RA输出的无重训练转换。

  • 3DPS 使用带有四元数法线和 ITU-R P.2040 材料向量的定向 3D 点作为场景表示。每个点包含位置、法线、复数振幅和材料参数，能够显式建模表面的散射特性。
  • 前向模型基于雷达方程的立体角形式，通过闭式 BSDF 评估计算每个 (TX, RX) 对的复数振幅。这种闭式解避免了数值积分，提高了计算效率。
  • 复数相位子波通过 Hann 窗 PSF 溅射映射到最近的 L=15 个距离 bin。Hann 窗的使用减少了频谱泄漏，提高了距离分辨率。
  • 堆叠每个 (TX, RX) 对的距离剖面并应用方位 FFT，生成最终的 RA 图。这一过程完全可微分，支持端到端优化。
  • 3DPS 支持产品无关渲染，同一优化场景通过标准 FFT 管道生成 ADC、CRP 和 RA 输出，无需重训练。这提高了方法的灵活性和实用性。
  • 利用 CUDA 内核加速前向和反向传播，单场景训练时间约为 3 分钟（在 RTX 4090 上）。这使得多视角优化变得可行。

逐图理解论文

现有方法的困境

现有方法的困境
Table 1: Comparison of radar rendering methods. Signal types: ADC, CIR, IF, RA, RDA (signal- output formats; full names in Sec. A). Columns mark scene representation (Repr.), explicit material model (Mat.), per-point or per-vertex storage (Per-pt), real-data validation (Real), and per-scene wall-clock on a single RTX 4090 over 8 viewpoints (Time, Sec. 4).

MC 射线追踪器如 Sionna RT 物理准确但单视角拟合需数十分钟，而 RadarSplat 等光学适配方法虽快却丢弃相位且缺乏显式材料建模，无法生成复数信号。

3DPS 的核心设计

3DPS 的核心设计
Figure 2: 3DPS rendering pipeline. A LiDAR cloud is reduced to N=20,000 oriented points. Per-point ITU BSDF and complex amplitude are evaluated per (TX, RX) pair (Eqs. 1, 5), then splatted via a Hann-windowed PSF into the L=15 nearest range bins (Eq. 4). Stacking the per-(TX, RX) range profiles and applying an azimuth FFT yields the final RA map.

该图展示了 3DPS 的渲染管道。LiDAR 点云被减少到 N=20,000 个定向点。每个点的 ITU BSDF 和复数振幅针对每个 (TX, RX) 对进行评估，然后通过 Hann 窗 PSF 溅射到最近的 L=15 个距离 bin。堆叠每个 (TX, RX) 对的距离剖面并应用方位 FFT 生成最终的 RA 图。

产品无关渲染

产品无关渲染
Figure 10: |CRP| and |ADC| heatmaps on held-out test frames. Rows: six ColoRadar scenes. Top block: |CRP|, range bins [15:256], columns GT vs 3DPS. Bottom block: |ADC|, the inverse range FFT of the near-field-masked CRP, columns GT vs 3DPS. Panels are min-max normalized to [0, 1]. Per-cell overlay: ρ / PSNR / SSIM (magnitude) and ∆φr / ∆φv (CRP magnitude-weighted phase coherence ⟨cos(∆φ)⟩in [−1, 1], random reference 0); envelope ρ|·| and ∆φt (ADC).

该图展示了保留测试帧上的 |CRP| 和 |ADC| 热图。行是六个 ColoRadar 场景。上块是 |CRP|，距离 bin [15:256]，列是 GT 和 3DPS。下块是 |ADC|，是近场掩模 CRP 的逆距离 FFT，列是 GT 和 3DPS。面板经过 min-max 归一化到 [0, 1]。叠加显示幅度相关的 ρ / PSNR / SSIM 和相位相关的 ∆φr / ∆φv。

性能验证

性能验证
Figure 3: Held-out novel-view |RA| comparison. Columns: six ColoRadar scenes sorted by descending 3DPS test Pearson correlation, ranging from 0.508 on S2 F300 to 0.657 on S2 F160 (mean 0.587). Rows: GT, 3DPS (Ours), RadarSplat, Radar Fields, DART. Per-frame test Pearson correlation overlaid in white.

该图展示了保留的新视角 |RA| 比较。列是六个 ColoRadar 场景，按 3DPS 测试 Pearson 相关系数降序排列。行是 GT、3DPS、RadarSplat、Radar Fields 和 DART。白色叠加显示每帧的测试 Pearson 相关系数。3DPS 在所有场景上均优于基线方法。

结论与局限

结论与局限
Figure 11: CRP and ADC I/Q traces on held-out test frames. Rows: six ColoRadar scenes. Top block: CRP I/Q traces at the highest-energy virtual antenna per scene, range bins [15:256]. Bottom block: ADC I/Q traces at the same VA, across 256 fast-time samples. Solid lines are GT real (blue) and imaginary (red); dashed lines are 3DPS predictions. Per-panel: ∆φr / ∆φv (CRP relative-phase coherence ⟨cos(∆φ)⟩); envelope ρ|·| and ∆φt (ADC). The traces show that 3DPS recovers the dominant amplitude envelope while the per-bin absolute phase varies (per-(VA, range) absolute phase is unconstrained by the magnitude-only training loss; only the relative-phase content is captured).

该图展示了保留测试帧上的 CRP 和 ADC I/Q 轨迹。行是六个 ColoRadar 场景。上块是 CRP I/Q 轨迹，下块是 ADC I/Q 轨迹。实线是 GT 的实部（蓝色）和虚部（红色），虚线是 3DPS 的预测。轨迹显示 3DPS 恢复了主导幅度包络，但每个 bin 的绝对相位变化，因为幅度损失未约束绝对相位。

实验如何设计？

  • 实验在 6 个 ColoRadar 户外场景上进行，使用 TI MMWCAS 级联毫米波雷达和 Ouster OS1-64 LiDAR 采集数据。
  • 与 DART、Radar Fields 和 RadarSplat 三个光学 NVS 基线进行比较。基线方法只输出功率 |RA|，无法提供复数输出。
  • 报告训练和测试视角的 |RA|、|CRP| 和 ADC 幅度及相对相位指标。测试视角为保留的新视角，用于评估泛化能力。
  • 消融实验分析点数量、训练视角数、密度控制等设计选择的影响，验证了各组件的有效性。

关键结果与论文证据

  • 在保留的 |RA| 测试视角上，3DPS 的平均 Pearson 相关系数为 0.587，比基线方法高出 1.7 倍到 5.2 倍（第 8 页）。
  • 在训练视角上，3DPS 的 |RA| 平均 Pearson 相关系数为 0.812，表明模型能够有效拟合训练数据（第 8 页）。
  • 在保留的 |CRP| 测试视角上，3DPS 的平均 Pearson 相关系数为 0.603，证明了其复数输出的有效性（第 8 页）。
  • 在保留的 ADC 包络测试视角上，3DPS 的平均 Pearson 相关系数为 0.613，表明其能够准确重建原始 ADC 信号（第 8 页）。
  • 单场景训练时间约为 3 分钟（在 RTX 4090 上），远快于 MC 射线追踪器（第 8 页）。
  • 消融实验表明，点数量、训练视角数和密度控制对性能有显著影响，验证了设计选择的合理性（第 27 页）。

阅读时需要注意

  • 仅评估单次弹射路径，不适用于室内多径环境。
  • 依赖 LiDAR 初始化，无法处理无 LiDAR 的雷达 NVS。
  • 幅度损失未约束绝对相位，仅捕获相对相位内容。
  • 仅评估静态场景，未处理动态物体。

关联工作

  • Sionna RT 是可微分 MC 射线追踪器，物理保真但速度慢（约 27 分钟/单视角）（第 3 页）。
  • RadarSplat 是 3DGS 适配雷达，快速但仅输出功率 |RA|，无复数输出（第 3 页）。
  • Radar Fields 是哈希网格+MLP，频率空间神经场景表示，仅功率 |RA|（第 3 页）。
  • DART 是隐式多普勒层析成像，设计用于 Nd=256 chirps，在级联雷达 Nd=16 下性能受限（第 3 页）。
  • NeRF 是神经辐射场，光学 NVS 基础，3DPS 借鉴其多视角优化思路但改用雷达原生原语（第 3 页）。
  • 3D Gaussian Splatting 是 3DGS，3DPS 的点溅射操作受其启发但针对雷达物理特性设计（第 3 页）。

发表评论