RVA 分级监督

ClearGS：面向手持混合质量视频的可靠性感知三维高斯重建

作者

快速导读：ClearGS 用 RVA 分级原始监督与 RIVR 无参考视频内修复，从质量不均的手持视频重建更清晰的 3DGS 场景。

手持视频做三维高斯泼溅时，帧质量沿轨迹起伏、视角覆盖也不均匀：平等监督会把模糊与畸变写进场景；二值化挑帧又太粗——退化帧可能仍是某段轨迹唯一的几何证据，丢掉会挖洞，全权使用又污染外观。

ClearGS（arXiv:2609.31509 ，PDF https://arxiv.org/pdf/2609.31509 ；深圳先进技术大学 / 荣耀等）把问题改写成混合质量监督：RVA 按外观可靠性、退化风险与几何效用分配分级原始权重，并在覆盖空洞处弱重启有用被抑帧；RIVR 在无匹配干净参考下，用当前渲染、修复原帧与高频融合候选做无参考选型并蒸馏；最后全轨迹巩固早先接受的修复。GS2E 与 GSOTM 上整体感知指标领先。

英文题目：ClearGS: Reliability-Aware Gaussian Splatting from Handheld Videos

论文出处：arXiv 每日论文精选 · arXiv:2609.31509

原始论文：PDF / 论文页面

这篇论文解决什么问题？

标准 3DGS 假设输入外观几何相对一致；手持拍摄常同时出现运动模糊、散焦、卷帘、位姿噪声与稀疏覆盖。

既有去模糊辐射场/高斯方法侧重成像或相机运动建模；帧选择与主动视点方法多做保留/丢弃或信息增益采集。对固定手持序列，二值决策无法“只要几何、少要脏外观”。

修复–蒸馏路线若依赖邻近 RGB、稀疏跨视角特征或深度对应，在混合退化视频里邻居可能同病，脏外观会跨视角传播。因此需要：分级控制原始监督，以及不依赖干净配对参考的视频内修复证据。

核心创新

  • 将手持 3DGS 明确为分离外观可靠性、退化风险与几何效用的混合质量监督问题。
  • RVA 分级权重 + 轨迹覆盖弱重启。
  • 无匹配干净参考的 RIVR 选型蒸馏与全轨迹修复巩固。

方法概览

RVA 估 Ri/Bi/Gi 并分配强/衰减/弱重启/抑制权重以初始化 G0；RIVR 用 Restormer 修复原观测，结合渲染与融合候选做无参考选择并蒸馏；最后全轨迹巩固已接受修复。

  • 可靠性优先：先用 RVA 建可靠初始场景 G0，再引入修复伪观测。外观上冻结 Qwen3-VL 汇总清晰度、结构、纹理、伪影、曝光等为可靠性 Ri，以及运动模糊、散焦、重影等为风险 Bi；高 Ri 低 Bi 构成可靠集 A。
  • 几何上结合 COLMAP：覆盖增益 Ci、位姿多样性 Di、可见冗余 Oi 合成效用 Gi。监督角色含强监督、几何衰减、辅助衰减、覆盖弱重启（权重 0.12）与抑制。轨迹按位姿分箱，空箱则弱重启被抑帧以防覆盖空洞。
  • RIVR：对目标位姿渲染 Rt，对原始观测 Ot 用冻结 Restormer 得 Dt，并构造 Ft=Rt+Dt−Bσ(Dt)。以 MUSIQ 为主、接近时辅以 CLIP-IQA，在 Rt/Dt/Ft 中无参考选型，追加为伪观测与真实活跃视角联合蒸馏。
  • Full-Trajectory Repair Consolidation：全程处理完后复用各姿态最新已接受修复，不新采样位姿、不生成新候选，减轻后期蒸馏冲掉早期细节。

逐图理解论文

二值挑帧困境

二值挑帧困境
Figure 1: Traditional pipelines either train or select handheld-video frames without graded reliability control, then repair degraded views using nearby references or cross-view cues that may share the same artifacts. ClearGS instead uses RVA to separate appearance reliability from geometric utility, and applies no-reference RIVR to add selected repair evidence without matched clean references.

图1对比传统二值挑帧+可能同病的邻近参考修复，与 ClearGS 的分级 RVA + 无参考 RIVR；下方玩偶重建明显更锐，帮助建立问题动机。

RVA 分级监督

RVA 分级监督
Figure 2: Overview of ClearGS. RVA assigns frame-wise raw-supervision weights from appearance reliability, degradation risk, and geometric utility, and weakly reactivates useful suppressed frames in uncovered trajectory regions. RIVR selects among the current render, restored raw observation, and detail-fused candidate using no-reference quality scores, then distills accepted pseudo observations with real observations.

图2总览 RVA→RIVR→全轨迹巩固：左支由可靠性/风险/几何效用到分级权重与弱重启；右支在渲染、修复原帧、融合候选间无参考挑选并与真实观测蒸馏。适合做方法特色图。

感知结果

感知结果
Figure 5: Qualitative comparison on five GS2E scenes. From left to right: the input 3DGS, DiFiX3D, GeoQuery, SyncFix, ClearGS, and the ground truth. ClearGS recovers sharper object boundaries and local details while preserving the scene appearance.

图5在五个 GS2E 场景横比输入 3DGS、DiFiX3D、GeoQuery、SyncFix、ClearGS 与真值，展示最终边界与细节优势。

实验如何设计？

  • GS2E：十场景×轻微/中等/严重合成模糊；GSOTM：运动模糊、卷帘、二者组合、位姿噪声四设定。所有方法吃同一退化位姿观测；训练与选型阶段无锐利真值/匹配干净参考，锐利图仅最终参考评估。
  • 对照 DiFiX3D、GeoQuery、SyncFix，以及 all-view / select-view 初始 G0；指标 LPIPS（对锐利目标）、CLIP-IQA、MUSIQ。
  • 消融：RVA 去覆盖补偿；RIVR 去掉原观测输入（改喂渲染）或去掉融合候选 Ft。

关键结果与论文证据

  • 初始场景：相对 all-view G0，Select-G0 在轻微→严重模糊上 LPIPS 降 0.011/0.013/0.015，MUSIQ 升 1.71/2.49/4.11；图3 显示细管与木结构边界更清晰。
  • 完整 ClearGS 相对 DiFiX3D：GS2E 三档模糊 LPIPS 再降 0.016/0.030/0.038，CLIP-IQA 升 0.030/0.032/0.040，MUSIQ 增益随模糊增强约 3.14→6.25；GSOTM 上 CLIP-IQA/MUSIQ 四设定最优，LPIPS 三设定最优、卷帘仅差约 0.001（页6 表3）。
  • 图4/图5：相对输入 3DGS 与修复基线，ClearGS 边界更利落、局部纹理更稳，少残留伪影。
  • 消融：覆盖补偿在中/重模糊抬 PSNR/SSIM；去掉视频原观测喂修复会大伤 MUSIQ（如 GSOTM 运动模糊掉约 14.66）；去掉 Ft 也降无参考感知分（页6 表4–5）。

阅读时需要注意

  • 依赖冻结 VLM 与 Restormer 的开销与偏差；阈值/权重多来自表1 设定，跨域需重标定。
  • 无参考打分可能偏好“看起来锐”而非几何正确；作者亦将退化专用修复与几何校验列为未来工作。
  • 评估主报观测输入位姿上的感知指标，新视角外推需额外谨慎阅读。

关联工作

  • Deblur-NeRF、BAD-NeRF、Deblurring 3DGS、GSOTM 等从成像/运动补偿入手。
  • ActiveInitSplat 等帧/视点选择强调信息或覆盖，但多为硬决策。
  • DiFiX3D、GeoQuery、SyncFix、3DGS-Enhancer 等代表参考条件或生成式修复蒸馏对照。

发表评论