方法贡献

SplashSplat：从真实多视角视频重建飞溅液体

作者

快速导读：本文提出了首个同步多视角飞溅液体数据集 SplashSplat，并设计了一种基于 Lagrangian carriers 和 SDF 约束的动态高斯泼溅方法，实现了高质量的新视角合成、时间插值和风格迁移。

飞溅液体重建长期受限于数据与方法的双重瓶颈：真实多视角同步数据稀缺，且液体表面弱纹理、拓扑变化剧烈，传统动态 3DGS 方法易出现几何漂移或外观模糊。SplashSplat 同时突破这两点，构建了首个真实飞溅液体多视角同步数据集，并提出基于 Lagrangian carriers 与 SDF 约束的动态高斯重建框架。

该方法的核心原则是“仅在观测可约束处施加物理结构”，通过多视角掩码融合生成每帧 SDF，拟合粗速度场，并利用 Forecast-Correct-Resample 循环校正载体漂移与覆盖丢失。最终将 carriers 解码为局部 Gaussians，与冻结背景联合优化，支持新视角合成、时间插值与风格迁移，无需重新优化。

英文题目：SplashSplat: Reconstructing Splashing Liquids from Real-World Multi-View Videos

论文出处：arXiv 每日论文精选 · /tmp/ingest_20260920/arxiv-2609-20818.pdf

原始论文：PDF / 论文页面

这篇论文解决什么问题？

现有流体重建研究主要关注烟雾或合成液体，真实液体数据多限于静态或低速场景，缺乏剧烈飞溅的同步多视角数据。这导致方法在真实飞溅场景上缺乏可靠评估基准，也难以验证物理合理性。

液体表面弱纹理、拓扑变化快，传统动态 3DGS 方法如 Deformable-3DGS 易出现几何漂移，SpacetimeGaussians 易产生静态高光伪影，4D-Scaffold-GS 物理合理性较好但新视角质量略低。这些方法在飞溅液体上均难以准确恢复运动与外观。

飞溅液体重建还需处理瞬态结构如气泡和泡沫，以及高光、折射等细节特征。这些结构太小且短暂，难以从多视角掩码中雕刻，对重建方法提出更高要求。

此外，速度场拟合对切向运动不敏感，仅作为短程传输先验，无法恢复可解释的动力学。SDF 融合基于视觉外壳，内部不确定，仅外部证据可靠。这些限制要求方法设计必须谨慎处理物理约束的施加范围。

核心创新

  • 首个同步、度量校准的多视角飞溅液体视频基准数据集（20 个场景，7 个相机，4K/60fps）。
  • 提出“仅在观测可约束处施加物理结构”的原则，避免使用不可观测的边界条件。
  • 设计 Forecast-Correct-Resample 循环，结合 SDF 校正和重采样，解决载体漂移和覆盖丢失问题。
  • 支持无需重新优化的时间插值和风格迁移。

方法概览

SplashSplat 方法包括：1) 从多视角掩码融合生成每帧液体 SDF；2) 通过连续 SDF 拟合粗速度场；3) 使用 Lagrangian carriers 沿速度场平流，并通过“预测-校正-重采样”循环校正漂移并恢复覆盖；4) 将 carriers 解码为局部 Gaussians，与冻结背景一起进行可微渲染优化。

  • 从多视角掩码融合生成每帧液体 SDF，利用视觉外壳保守估计液体表面几何，避免内部不确定区域引入噪声。
  • 通过连续 SDF 拟合粗速度场，作为 Lagrangian carriers 平流的短程传输先验，不依赖完整动力学模型。
  • 设计 Forecast-Correct-Resample 循环：carriers 沿速度场平流，通过 SDF 校正抑制外部漂移，重采样恢复缺失表面覆盖，解决载体漂移与覆盖丢失问题。
  • 将 carriers 解码为局部 Gaussians，与冻结背景 Gaussians 联合进行可微渲染优化，使用光度与掩码监督，避免背景干扰液体重建。
  • 提出“仅在观测可约束处施加物理结构”原则，避免使用不可观测的边界条件，确保物理约束不引入虚假先验。
  • 支持无需重新优化的时间插值与风格迁移：时间插值仅用偶数帧训练，评估奇数帧重建质量；风格迁移改变液体光学属性并重新渲染，保留背景折射与波纹。

逐图理解论文

失败直觉

失败直觉
Figure 3. Qualitative comparison on real captures. Training views (left) and test views (right), one scene per row. On test views the baselines place liquid Gaussians away from the observed surface: D3G collapses into a full-frame plume, while STG and 4DSG leave haze that occludes the container. SplashSplat keeps the stream continuous and the liquid confined to the observed surface.

观察基线方法在测试视角上的失败模式：D3G 坍缩为全帧羽流，STG 和 4DSG 留下遮挡容器的雾状物，而 SplashSplat 保持流体连续且局限于观测表面。

研究缺口

研究缺口
Table 1. Comparison with existing fluid datasets. Real-world fluid data is dominated by smoke, while real liquid data is confined to static states or to interfacial dynamics from at most two viewpoints. Ours is the only synchronized, metrically calibrated multi-view video benchmark of splashing liquids. Sync.: synchronized multi-camera capture. Masks: per-view liquid masks. ‡Rendered virtual cameras rather than a physical rig. †A single hand-held camera moved around static scenes. –: not applicable or not reported.

对比现有流体数据集，注意真实液体数据多限于静态或双视角，而 SplashSplat 是唯一同步、度量校准的多视角飞溅液体基准。

方法贡献

方法贡献
Figure 2. Overview of SplashSplat. At each frame, per-view liquid masks are fused into an observed liquid SDF, while the static scene is represented by pretrained background Gaussians (Sec. 4.1). Consecutive SDFs yield a coarse velocity field that advects Lagrangian carriers through a forecast–correct–resample loop: carriers are propagated by the flow, corrected against the next-frame SDF to suppress exterior drift, and resampled to restore missing surface coverage (Sec. 4.2). Each carrier decodes local Gaussians, which are rasterized together with the frozen background and optimized under photometric and mask supervision (Secs. 4.3 and 4.4).

理解方法整体流程：多视角掩码融合生成 SDF，连续 SDF 拟合速度场，Lagrangian carriers 通过 Forecast-Correct-Resample 循环更新，解码为局部 Gaussians 与冻结背景联合优化。

关键机制

关键机制
Figure 7. Qualitative ablation on test views. Without resampling the stream degrades into a diffuse veil and the accumulated liquid disappears by the end of the sequence; without Lsep the thin early stream is washed out; and open-loop FLIP transports the liquid toward the bottom of the bowl but drifts from the observed surface. The full model preserves both the stream and accumulated liquid.

观察定性消融，注意无重采样时流体退化为弥漫薄纱、无 Lsep 时早期细流被冲淡、开环 FLIP 时液体向碗底漂移，理解各组件对重建质量的必要性。

核心结论

核心结论
Figure 6. Style transfer. New optical properties are assigned to the reconstructed liquid and light transport is re-solved against the scene behind it, with no mesh extraction and no re-optimization. Refraction of the background and the ripples of the recording are preserved.

观察风格迁移演示，注意改变液体光学属性后背景折射与录制波纹的保留，理解方法在保持几何结构的同时改变外观的能力。

实验如何设计？

  • 在自研真实数据集上与 Deformable-3DGS、SpacetimeGaussians、4D-Scaffold-GS 进行新视角合成、时间一致性、物理合理性和效率对比，所有方法使用相同协议在原生分辨率流体中心裁剪上训练。
  • 在合成数据集 NeuroFluid WaterSphere 上进行新视角合成对比，验证方法在合成数据上的泛化能力。
  • 时间插值实验：仅用偶数帧训练，评估奇数帧重建质量，检验方法对时间采样的鲁棒性。
  • 消融实验：验证重采样、Lsep 正则项和 FLIP 求解器的影响，分析各组件对重建质量的贡献。
  • 风格迁移演示：改变液体光学属性并重新渲染，验证方法在保持几何结构的同时改变外观的能力。

关键结果与论文证据

  • 在真实数据集上，SplashSplat 在新视角合成、时间一致性和物理合理性上均优于基线方法，液体表面保持连续且局限于观测表面，避免基线方法的几何漂移与外观模糊（第 6 页，Table 2，Figure 3）。
  • 在 NeuroFluid WaterSphere 上，SplashSplat 在新视角合成上表现稳健，表面变形时保持边缘结构与分离液滴，而基线方法在冲击时退化（第 7 页，Table 3，Figure 4）。
  • 时间插值实验中，SplashSplat 保留下落流体的颜色、厚度与位置，而 4D-Scaffold-GS 将流体衰减为微弱条带（第 7 页，Figure 5）。
  • 消融实验表明，重采样对保持流体连续性与累积液体至关重要，Lsep 正则项防止早期细流被冲淡，FLIP 求解器避免液体向碗底漂移（第 8 页，Table 4，Figure 7）。
  • 风格迁移演示中，SplashSplat 在改变液体光学属性后保留背景折射与录制波纹，无需网格提取或重新优化（第 8 页，Figure 6）。

阅读时需要注意

  • 基于轮廓重建，无法捕捉高光、折射等细节特征，限制外观保真度。
  • 遗漏瞬态结构如气泡和泡沫，因其太小且短暂，无法从多视角掩码中雕刻。
  • 速度场仅为运动学一致，不满足动量平衡，无法恢复可解释的动力学。
  • SDF 融合基于视觉外壳，内部不确定，仅外部证据可靠，限制几何精度。
  • 速度场拟合对切向运动不敏感，仅作为短程传输先验，限制长程运动预测。

关联工作

  • Deformable-3DGS 基于变形场的动态高斯方法，在液体上易出现几何漂移，是 SplashSplat 的主要基线之一。
  • SpacetimeGaussians 时空高斯特征泼溅，在液体上易产生静态高光伪影，限制外观保真度。
  • 4D-Scaffold-GS 基于锚点的 4D 高斯方法，物理合理性较好但新视角质量略低，在飞溅液体上表现受限。
  • NeuroFluid 合成流体数据集，用于验证 SplashSplat 在合成数据上的表现，补充真实数据评估。
  • GaussFluids 使用高斯泼溅重建拉格朗日流体粒子，但主要面向合成或烟雾，缺乏真实飞溅液体支持。
  • SurfPhase 从稀疏视频重建两相流界面动力学，但仅双视角且依赖扩散先验，限制多视角应用。

发表评论