方法总览

SARFusion：面向稳健相机–激光三维检测的场景感知路由融合

作者

快速导读：SARFusion 用场景可靠度先验加查询级分支路由，在相机、激光与融合三路之间动态选择，降低退化条件下的负迁移。

相机–激光融合已是自动驾驶三维检测主流，但多数检测器仍从“同一套紧耦合多模态表示”里解 object query。传感器一旦在雨雾、强光、丢束、错位等条件下退化，不可靠模态会污染可靠证据，出现负迁移。更麻烦的是：模态可靠度既随全局场景变，也随单个目标的距离、遮挡与点密度变，固定融合通路很难两头都对。

中科院自动化所等提出的 SARFusion（arXiv:2609.29235 ）把稳健融合重写成场景感知分支路由：并行维护相机、激光、融合三条解码分支；用 Scene Reliability Prior 吃全局驾驶语境，再用 Scene-Aware Branch Routing 结合查询局部证据，把每个 query 路由到最合适分支。nuScenes 测试集达到 72.5 mAP、74.4 NDS，并在雪雨雾与强光等退化条件下优势更明显。

英文题目：SARFusion: Scene-Aware Routing Fusion for Robust Camera-LiDAR 3D Object Detection

论文出处：arXiv 每日论文精选 · arXiv:2609.29235

原始论文：PDF / 论文页面

这篇论文解决什么问题？

相机提供稠密外观与语义，激光提供精确深度与几何；融合在干净场景很强，但真实驾驶里天气、光照、运动模糊、时序不一致、标定错位、相机失效、激光丢束与残缺回波都会改变模态可用度（第1–2页）。

现有融合检测常把融合行为当作近似固定：默认同一传感器组合适合所有场景。可场景级可靠度会变——弱光伤相机，恶劣天气伤激光几何；同一帧里不同目标的观测质量也不同，远处行人可能点稀但图像可辨，近车则更依赖激光定位（第2页）。

因此需要比“整帧选一个融合策略”更细的粒度：以 object query 为单位，在相机 / 激光 / 融合三选一，减少有害跨模态干扰，同时在互补可信时保留融合收益。

核心创新

  • 把稳健相机–激光融合表述为场景感知分支路由，而非单一融合表示。
  • 提出 Scene Reliability Prior，编码全局驾驶条件下的模态可靠度。
  • Scene-Aware Branch Routing 结合场景先验与查询局部证据做 query 级三选一。
  • 分阶段训练稳定多分支专业化与路由学习。

方法概览

并行三分支解码；SRP 从 XCL 估计场景先验并用文本场景提示对比监督；SABR 用局部掩码注意力证据与先验预测分支概率并路由；分阶段训练检测、先验与路由。

  • 总览（Fig.1）：多视角图像经 Image Encoder 得相机 token XC，点云经 LiDAR Encoder 得 BEV token XL，拼接为多模态上下文 XCL。三条并行 Transformer 解码分支分别只看 XC、只看 XL、或看 XCL。
  • Scene Reliability Prior（Fig.2）：可学习 scene token 经轻量 Transformer 聚合 XCL，得到 cprior。训练时用文本场景提示（如 “A {weather} driving scene at {time of day}.”）做对称对比损失 Lsrp，迫使先验编码天气/时段等可靠度相关信息；推理无需文本或场景标签（第6页）。
  • Scene-Aware Branch Routing（Fig.3）：把 query 参考点投影到相机特征平面与 LiDAR BEV，构造局部窗口 Ωi，用掩码注意力得到局部证据 elocal；与 cprior 拼接后经 MLP+Softmax 得到 πi,C/L/F，取 argmax 路由，再把查询分到对应分支解码（式4–9，第7页）。
  • 训练目标：三分支各自做检测损失 Ldet，加上 Lsrp 与可靠性感知路由损失 Lroute；并采用分阶段策略——先训三分支，再学场景先验，最后优化路由，避免路由器过早塌缩到固定偏好（式10–12，第8页）。

逐图理解论文

问题背景

问题背景
Fig. 4: Comparison of camera-LiDAR observations under degraded sensing conditions.

固定融合默认同一通路适合所有场景，但雨雾强光会改全局可靠度，遮挡与点密度又让同帧不同目标观测质量不同，紧耦合表示容易把坏模态灌进最终预测。

方法总览

方法总览
Fig. 1: Overall architecture of the proposed SARFusion.

Fig.1 总架构：左为 Image/LiDAR Encoder 产出 XC、XL 与拼接 XCL；上为 Scene Perception 得 Scene Prior，Local Masked Attention 得 Local Evidence，MLP 做 Branch Selection；下为 C / L / C+L 三路 Transformer Decoder 输出检测框。适合作为方法主图与特色图。

路由细节

路由细节
Fig. 2: The illustration of SRP module

Fig.2 SRP：多模态 token 与可学习场景 token 进 Transformer，训练时与天气/时段文本提示做对比学习，推理只吃视觉–激光上下文。

关键证据

关键证据
Fig. 5: Qualitative detection results under representative adverse weather conditions, including fog, snow, and rain.

Fig.5 雾/雪/雨等恶劣天气定性对比：相对 BEVFusion、CMT，SARFusion 在退化观测下框更稳、漏检更少，配合 Table 2 读稳健性故事。

实验如何设计？

  • 主基准：nuScenes，700/150/150 训练/验证/测试；报 mAP 与 NDS。
  • 稳健性：在雪、雨、雾、强光等退化验证设定上，模型只在原始训练集训练、不做条件专用微调。
  • 对照：相机-only、激光-only 与 BEVFusion、TransFusion、DeepInteraction、CMT、SparseFusion 等融合方法。
  • 消融：多分支无路由、+SABR、+SRP；场景先验监督有无；路由证据组合；端到端 vs 分阶段训练。

关键结果与论文证据

  • 干净集（Table 1）：验证 71.1 mAP / 73.7 NDS，测试 72.5 mAP / 74.4 NDS，高于 CMT 的验证 70.3/72.9 与测试 72.0/74.1，以及 SparseFusion、DeepInteraction 等对照。
  • 退化（Table 2）：Clean/Snow/Rain/Fog/Strong Sunlight 上 SARFusion 为 71.1 / 64.8 / 69.7 / 69.2 / 68.3；相对最强竞争者，mAP 增益约 Clean +0.8、Snow +1.3、Rain +3.2、Fog +7.8、Strong Sunlight +2.0，雾天优势最大。
  • 组件（Table 3）：单融合分支 70.7/73.1；多分支无路由暴跌到 52.4/62.8；加上 SABR 回到 70.8/73.1；再加 SRP 到 71.1/73.7。说明“多分支” alone 不够，查询级路由与场景先验都必要。
  • 监督与训练（Table 4–6）：有场景先验监督 71.1/73.7 vs 无监督 69.6/72.1；局部证据+场景先验优于仅局部证据；分阶段训练显著优于直接端到端，后者易因早期路由不稳导致分支塌缩。定性上干净场景融合支路占主导，恶劣条件下模态专用支路更活跃（Fig.5–6）。

阅读时需要注意

  • 主实验围绕 nuScenes 与选定退化协议，更广传感器套件与真实闭环驾驶仍需验证。
  • 路由依赖参考点投影与局部窗口，极端错位或大面积遮挡可能让局部证据失真。
  • 三分支并行带来额外计算与训练复杂度；文中强调稳健性，不等于宣称全场景算力最优。
  • 场景提示监督只在训练使用，先验质量仍受多模态上下文与对比对齐上限约束。

关联工作

  • TransFusion、DeepInteraction、CMT、BEVFusion 代表固定或预定义交互的融合检测。
  • MEFormer、专家路由与 masked-modal 训练等工作强调降低刚性跨模态依赖。
  • nuScenes-C / 天气退化评测用于检验场景依赖可靠度，而不是只报干净榜。

发表评论