流式神经ISP

RawVLA：面向机器人操作的具身神经图像信号处理器

作者

快速导读：RawVLA 把相机 RAW-to-RGB 成像管线做成可流式适应的神经 ISP，在冻结 VLA 策略下用动作驱动目标学习曝光、白平衡、色彩校正与色调，并配套 RawVLA-Bench 把成像条件变成显式评测变量。

机器人视觉-语言-动作模型几乎都在固定相机 ISP 渲好的 RGB 上决策，等于默认成像管线对操作无害。低光裁切、过曝饱和、噪声放大和错误白平衡，却会让同一场景变成完全不同的策略输入。

RawVLA（arXiv:2609.37530 ，东京大学 / D-Robotics / 南洋理工 / 东北大学 / 港科广等）把 RAW-to-RGB 做成流式神经 ISP：亮度与色度解耦循环状态驱动曝光、白平衡、色彩校正与色调，在冻结 VLA 下用动作损失学习；并发布 RawVLA-Bench 把成像条件变成显式变量。项目页 https://shuhongll.github.io/rawvla 。本文讨论的是研究原型与基准，而非已部署量产相机方案。

英文题目：RawVLA: Embodied Neural Image Signal Processor for Robotic Manipulation

论文出处：arXiv 每日论文精选 · arXiv:2609.37530

原始论文：PDF / 论文页面

这篇论文解决什么问题？

VLA 统一视觉、语言与动作后，视觉通路仍常从相机固件 RGB 起步，ISP 被当成不可学习的预处理。

作者在曝光、噪声、色度、色调、位深五维扫描中发现：不同 ISP 维度对动作预测与操作成功率的冲击并不对称，固定渲染无法在所有采集条件下同时保住任务线索。

因此需要把成像接口纳入闭环：输入应回到更保真的 RAW，输出渲染应服务下游动作，而不是只追求观感漂亮。

核心创新

  • 系统分析 VLA 对五维 ISP 因素的敏感性，论证成像管线应进入学习与评测闭环。
  • 流式神经 ISP：亮度/色度解耦循环状态 + 结构化曝光/白平衡/CCM/色调控制，适配冻结 VLA。
  • 动作驱动训练：固定策略参数，只更新 ISP，使渲染服务操作成功而非单纯感知美化。
  • RawVLA-Bench：在 LIBERO 与 RoboTwin 2.0 上把光照等采集条件变成显式变量。

方法概览

RawVLA 接收因果线性 RAW burst：先做固定六帧突发去噪，再分离亮度与色度描述子。亮度路径用空间 CNN 特征加绝对亮度统计（分布、分位、暗裁切比），色度路径只用尺度不变色度与对数色度比，经两个 GRU 维护解耦循环状态，并反馈上一时刻 ISP 参数。解码结构化控制：曝光 EV、白平衡、3×3 CCM、单调色调曲线，渲染后送入冻结 VLA（回归或扩散动作头）。优化以策略原生动作损失为主，辅以亮度均值与色度范围正则，无需像素级监督。

  • 输入为因果线性 RAW burst，先经固定六帧突发去噪得到当前线性观测。
  • 亮度描述子结合空间 CNN 特征与绝对亮度统计；色度描述子只用尺度不变通道统计与对数色度比，避免亮度泄漏进颜色估计。两路 GRU 维护解耦状态，并条件于上一时刻 ISP 参数以保持时序稳定。
  • 解码结构化控制量：EV 曝光增益、白平衡、3×3 色彩校正矩阵、单调端点保持色调曲线，渲染图像再喂给冻结的回归式或扩散式 VLA 出动作块。
  • 训练主损失是策略原生动作目标，辅以亮度均值靠近与色度范围正则；不要求像素级重建监督，从而让 ISP 直接为操作成功服务。

逐图理解论文

ISP敏感性

ISP敏感性
Figure 1: We propose RawVLA, an embodied and adaptive neural ISP module for VLA models, and RawVLA-Bench, a RAW-domain manipulation benchmark based on LIBERO and RoboTwin 2.0.

图1总览：左侧对比常规机内 ISP 与 RawVLA 流式神经 ISP；中部给出亮度/色度状态驱动的增益、白平衡、色彩校正与色调；右侧 RawVLA-Bench 与柱状成功率，以及低光真机示意。宜作特色图。

流式神经ISP

流式神经ISP
Figure 3: Overview of RawVLA. A causal linear RAW burst is summarized by factorized luminance and chroma descriptors, fused with previous ISP parameters through decoupled recurrent states, and decoded into structured exposure, white-balance, color-correction, and monotonic tone controls. The rendered image is passed to a frozen VLA policy for action prediction.

图3方法细节：RAW burst→FFT/IFFT 突发去噪，亮度/色度描述子进入双 GRU 循环状态，解码 Gains/WB/CCM/Tone 后渲染，再送入冻结回归或扩散 VLA；底部标出动作、亮度与色度损失。

结论与局限

结论与局限
Figure 4: Qualitative results in simulation and the real world. The first and second rows compare agent-view observations rendered by the Default ISP and RawVLA on LIBERO and RoboTwin 2.0, respectively. The final row shows a real-world task completed under low-light conditions.

图4定性对比 Default、RawAdap.、DarkISP、RAM、RAWild 与 Ours：仿真里对照易色偏或过曝，RawVLA 更清晰自然；底行真机低光原图几乎全黑，渲染后可见操作目标。

实验如何设计？

  • RawVLA-Bench 在仿真中改变环境光照后再形成 RAW，覆盖 ExtremeLow、Low、Normal、Over、ExtremeOver 五档，并尽量保留成功专家轨迹。
  • LIBERO 与 RoboTwin 2.0 上评测 PI-0、PI-0.5、Qwen3-OFT 等骨干，对照 Default ISP、DarkISP、RAM、RAWAdapter、RAWild。
  • 真机四任务在正常光与低光下比较 Default、DarkISP 与 RawVLA。
  • 另报告推理 FPS，并消融描述子、循环状态与软共享结构。

关键结果与论文证据

  • LIBERO 上跨骨干平均成功率 68.82%，高于 Default 43.01 与最强神经对照 RAWild 42.26；恶劣光照贡献了主要增益（页7，Table 1）。
  • RoboTwin 2.0 平均 54.98%，相对最强神经 ISP 基线约 +85.81% 相对提升，且两策略在各不利光照档均居前（页8，Table 2）。
  • 真机低光平均 66.50%（Default 0%、DarkISP 11%），正常光 75.00% 接近 Default 76.50%，显示标准条件不牺牲太多、退化条件显著回升（页8，Table 3）。
  • 消融表明空间特征、亮度/色度描述子、隐状态与参数反馈缺一不可；完整模型在两基准消融表中全面领先残缺变体（页9，Table 5）。

阅读时需要注意

  • 当前证据主要来自可控仿真光照与有限真机任务，开放世界传感器差异仍待检验。
  • 策略冻结意味着 ISP 再强也受 VLA 表征天花板约束。
  • 结构化算子与突发去噪假设需随具体传感器噪声与马赛克模式调整。

关联工作

  • VLA/WAM 视觉鲁棒工作多在 RGB 扰动、恢复或不变性层发力。
  • RAWAdapter、DarkISP、RAM、RAWild 等代表任务导向或低光 ISP，但未必以冻结 VLA 动作闭环为目标。
  • Embodied Image Compression 与 SPARC 等强调闭环任务指标，与把 ISP 纳入评测变量的方向一致。

发表评论