自适应分配

CompactSplat：空间自适应高斯分配的前馈场景重建

作者

快速导读：CompactSplat 用纹理感知四叉树与层次金字塔采样，按区域复杂度分配三维高斯，并在推理时用单个阈值控制稀疏度。

从几张稀疏照片一次前向就重建可渲染的三维场景，已经是前馈三维高斯（3DGS）的常规设定。麻烦在于：现有方法几乎都把高斯数量钉在像素上——pixelSplat、HiSplat 给每个像素多个基元，MVSplat、DepthSplat、SurfSplat 给每个像素一个。墙面、地面这类大面积同质区域会被填满冗余椭球，既浪费存储，放大观察时还会露出空洞。上海交通大学 He 等人的 CompactSplat（arXiv:2610.13177）把分配改成内容感知：纹理复杂处密布小高斯，平坦处用尺度调制的大高斯铺满，并让同一组权重在推理时用单个划分阈值在保真度与显存之间切换。

框架由 Texture-Aware Partitioner（TAP）与 Hierarchical Pyramid Sampler（HPS）组成。TAP 用四叉树按块内纹理复杂度剖分输入；HPS 从多尺度属性金字塔采样高斯属性，并用叶节点块尺寸调制最终尺度。在 RealEstate10K 上，大模型平均每像素只需 0.554 个高斯、约 7.26 万个基元，而多数逐像素方法是 13.11 万；标准分辨率与高分辨率渲染一致性（HRRC）上仍能匹敌或超过对照。预印本尚未按同行评审结论使用。

英文题目：CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction

论文出处：arXiv 每日论文精选 · arXiv:2610.13177

原始论文：PDF / 论文页面

这篇论文解决什么问题？

自然场景的复杂度并不是均匀的。深度跳变、遮挡和结构边界几乎总会表现为高频纹理，而大块墙面、地板往往既平坦又缺少纹理。逐像素预测被迫在这些区域也吐出一个甚至多个高斯，表示变冗余，平面几何先验也用不上。作者把这一问题写成：前馈三维高斯怎样按区域复杂度分配基元，而不是按分辨率硬分配。

相关工作已有两条出路。一条仍像素对齐，只是把每像素数量从多个降到一个，或加入深度、表面连续性；另一条用可学习 query、体素占用或图像熵来解耦高斯数与像素数。CompactSplat 选择图像空间四叉树：剖分规则可解释，尺度与块足迹绑定，而且剖分阈值可以放到推理阶段当旋钮。它假设相机内外参已知，与 VGGT、MV-DUSt3R 等无标定前馈不同。

核心创新

  • 用纹理驱动的四叉树 TAP 取代逐像素分配，平坦处少采、纹理与边界处密采。
  • HPS 从多尺度属性金字塔采样，并用块尺寸显式调制高斯尺度，一张基元即可铺平面。
  • 同一组权重在推理时只调划分阈值 τ，就能沿质量–紧凑度 Pareto 前沿切换工作点。

方法概览

双路径编码器分别抓单视图几何与多视图对应：单视图用 Depth Anything V2 提取结构与语义，多视图用自注意力与交叉注意力构造平面扫描代价体，拼接后送入多尺度二维 U-Net。与把全部特征上采样到全分辨率再逐像素预测不同，Texture-Aware Partitioner（TAP）按纹理复杂度做自顶向下四叉树。图像先切成 Smax×Smax 块（Smax=16），块内复杂度 Δ(B) 取各通道强度极差的最大值；若 Δ(B) 大于用户阈值 τ 且块大于 1×1，则四等分，直到平滑或到单像素。叶节点输出归一化中心 μk、尺寸 bk 与 LoD 索引 lk。Hierarchical Pyramid Sampler（HPS）先用 DPT 头在全分辨率预测统一属性场 Abase，再平均池化成属性金字塔；按 lk 在对应层对 μk 做 GridSample，解码出透明度、旋转、球谐与相对尺度乘数 Δsk，最终尺度 sk=Δsk⊙bk，让一张低分辨率高斯按块足迹膨胀铺平面。训练分两阶段：Stage 1 固定 τ=0 做稠密几何初始化；Stage 2 从 U(0, τmax) 随机采样 τ（τmax=0.02），让网络学会低分辨率高斯的尺度乘数。损失为渲染图与真值的 MSE 加 λ=0.05 的 LPIPS。推理只需改 τ，无需重训或附加模块。实现沿用 DepthSplat / SurfSplat 的编码器与表面连续性处理，已知相机内外参。

  • 特征侧沿用近期前馈模型的双路径。单视图分支用预训练 Depth Anything V2 提取结构和语义，补交叉重叠不足的病态区域；多视图分支用自注意力与交叉注意力构造平面扫描代价体，约束多视图一致。两路特征拼接成体，送进多尺度二维 U-Net。关键不再是把所有特征确定性上采样成一张全分辨率图再逐像素解码高斯，而是把基元生成与空间划分解耦。
  • TAP 把划分写成由局部纹理驱动的自顶向下四叉树。给定图像与最大块边长 Smax（实现里为 16），先铺一层粗网格。块 B 的复杂度 Δ(B) 定义为各颜色通道在块内最大值减最小值后再取通道最大。用户阈值 τ 控制是否继续切：Δ(B)>τ 且边长大于 1 时四分，否则作为叶节点。叶节点给出归一化中心、二维尺寸和 LoD。平坦区早停，得到少量大块；高频区切到细块。推理时只改 τ，就能改变全局基元数量。边界与无效视角用二值掩码丢掉无信息节点。作者强调：几何复杂几乎总会表现为纹理复杂，用纹理当细分代理是保守上界——复杂几何一定拿到密采样，同质区则被积极剪枝。
  • HPS 负责把抽象划分变成显式高斯。网络用 DPT 头在全分辨率预测统一属性场，再经局部聚合得到离散尺度金字塔，避免直接在高频场上采样大块带来的混叠和感受野错位。每个叶节点按自己的 LoD 在对应层 GridSample，解码透明度、旋转、球谐和相对尺度乘数；最终尺度等于该乘数与块尺寸的逐元素乘积。于是一张采自更深层的高斯可以形态膨胀，无缝铺住大平面，从而打破像素与基元的一一对应。
  • 直接从零同时学多视图几何和动态剪枝会不稳，因此用两阶段课程。第一阶段把 τ 钉在 0，TAP 全图走最高 LoD，只监督几何与对应。第二阶段每个迭代从均匀分布 U(0, τmax) 抽样阈值，τmax=0.02，迫使 HPS 学会低分辨率高斯的尺度乘数。光度损失是渲染与真值的 MSE 加上 λ=0.05 的 LPIPS。实现上降采样倍数 s=4，代价体深度维 D=128；Ours-S/B/L 对应 Depth Anything V2 的 ViT-S/B/L。高斯后处理沿用 SurfSplat 的表面连续性先验与 Forced Alpha Blending。

逐图理解论文

自适应分配

自适应分配
Figure 1: CompactSplat is a highly efficient feed-forward network that predicts 3D scene representa- tions from sparse input images. While previous methods typically allocate one or more Gaussians per pixel—leading to excessive primitives and spatially redundant representations, CompactSplat adaptively allocates primitives based on regional complexity. It concentrates dense Gaussians in texturally rich areas while deploying expanded, scale-modulated primitives in flat regions. This paradigm enables high-fidelity reconstruction with substantially fewer primitives. Crucially, it in- herently supports dynamic sparsity control at inference time, allowing seamless trade-offs between visual fidelity and memory footprint across diverse deployment constraints.

图1是首页总览，宜作特色图。裁切顶部带进上海交大作者行，讲图时可忽略。左上 Reference 是蓝墙卧室参考照片，床上有格纹被与靠垫，墙面挂着白衣人像海报。中栏 CompactSplat 给出带高斯椭球的三维可视化与对应渲染，橙色框标出床头海报。右栏 Comparison 四格为 pixelSplat、MVSplat、DepthSplat、YoNoSplat，对照在床沿、墙角更碎，可见空洞。中部一行四张卧室新视角，下方橙色横条五格把同一海报叠上由粗到细的四叉树网格，标题写 Inference-time Controllable Primitive Number，对应推理时调节基元数量：格子越细，海报五官越清楚。

推理可控

推理可控
Figure 5: Qualitative analysis. Visualizations under varying GPP settings reveal an elegant architectural trade-off. Lower GPP limits enforce the use of ex- panded, scale-modulated primitives, yielding smoother, watertight planar surfaces. Conversely, higher GPP settings allocate denser primitives to more faithfully recover high-frequency edges and complex boundaries.

图5是同一卧室在三个 GPP 工作点的定性对照。顶部残留图4图注，右侧是正文，只看三列可视化。列标题 0.39 GPP、0.49 GPP、0.85 GPP，左标 Smoother surface、右标 Sharper edges。行分别是 RGB、Depth、Normal。低 GPP 墙面、天花板更光滑连续，深度与法向更像整块平面；高 GPP 窗叶、海报轮廓和床沿更锐，法向高频也更多。这与 TAP/HPS 的设计一致：剪枝时被迫用膨胀高斯铺平面，加密时才把细节还给边界。

关键证据

关键证据
Figure 3: Multi-resolution rendering comparison of 3D scenes. We visualize rendered RGB images and depth maps at three scaling factors: ×1 (blue box), ×2 (green box), and ×4 (red box). Under higher magnification, structural deficiencies in conventional 3D representations become increasingly apparent. In the RGB domain, primitive sparsity causes unfilled gaps, manifesting as dark, hollow regions. Correspondingly, in the depth space (where yellow indicates near and blue indicates distant surfaces), these geometric discontinuities erroneously register as spurious near-field artifacts. In contrast, CompactSplat’s scale-modulated primitives seamlessly tile the surfaces, yielding watertight geometry and artifact-free renderings across all resolutions.

图3做多分辨率渲染对照，六列为 pixelSplat、MVSplat、DepthSplat、HiSplat、YoNoSplat、Ours。上下两组室内场景，每组交错排列 RGB 与伪彩深度（黄近蓝远）。蓝框是原尺度，绿框约 ×2，红框约 ×4。对照列在放大后的墙面、桌面、柜门出现未填充黑洞；深度图里这些空洞变成虚假近景黄斑。Ours 列在红框放大后仍铺满、深度过渡连续。第二组蓝墙卧室里墙面字母 K 在 Ours 上更完整。这张图用来支撑 HRRC：尺度调制的大高斯把平面缝住，而不是靠堆像素级小椭球。

结论与局限

结论与局限
Figure 4: Quantitative analysis. By modulating the partition threshold τ at inference time, CompactSplat continuously traverses the Pareto frontier. The model achieves extreme reductions in primitive count (mea- sured in Gaussian per pixel, GPP) with virtually negli- gible degradation in rendering fidelity.

图4是动态稀疏的定量曲线。裁切混入 4.2 节标题和右侧正文，只读三张折线图。图例 Small / Medium / Large 对应 Ours-S/B/L。横轴均为 GPP，大约从 0.4 到 0.9。左图 PSNR 从约 26.5 dB 升到 27.5 dB 后变平；中图 SSIM 从约 0.875 升到 0.892；右图 LPIPS 纵轴从上到下增大，曲线向上表示误差下降，大约从 0.15 降到 0.11。三条模型都在低 GPP 端下降有限，对应正文说的不对称折中：少掉大量基元，标准保真度只轻微变差。精确表值以 Table 1 为准。

实验如何设计？

  • 主实验在 RealEstate10K 室内与 ACID 户外航拍上，沿用既有官方划分与预计算位姿。指标为 PSNR、SSIM、LPIPS，并用 SurfSplat 提出的 HRRC 在 2×、4× 放大下检查结构是否仍水密。紧凑度用平均高斯数 GS Num 与每像素高斯数 GPP。对照覆盖每像素多高斯的 pixelSplat、HiSplat，以及每像素一高斯的 MVSplat、TranSplat、DepthSplat、SurfSplat、YonoSplat。YonoSplat 因结构限制在 224×224 上评，作者注明可能略偏高。
  • 泛化实验把同一模型放到 ScanNet、DL3DV、DTU。附录再与 TokenGS、C3G、VolSplat 等非像素对齐方法比，并明确训练分辨率和相机处理并不一致。动态稀疏分析在推理时扫 τ，得到不同 GPP 下的三条模型曲线，并用同一卧室场景的 RGB、深度、法向对比 0.39、0.49、0.85 GPP。训练在 A100 上：Ours-S 30 万步、batch 16；Ours-B/L 60 万步、batch 8。

关键结果与论文证据

  • Table 1 上，RE10K 标准 256 分辨率里 Ours-L 的 PSNR 27.567、SSIM 0.892，与 SurfSplat 的 27.537 / 0.892 持平量级，但 GPP 从 1.000 降到 0.554、高斯数从 13.11 万降到 7.26 万。平均三项分辨率后 Ours-L PSNR 26.392，高于 SurfSplat 的 26.255 和 pixelSplat 的 25.584。许多逐像素方法在 1024 的 HRRC 上崩得更明显（DepthSplat 1024 PSNR 仅 16.385），而 CompactSplat 仍保持 25.252。图3 的放大对比与这一数字一致：对照方法在墙面、桌面放大后出现黑洞，深度图把空洞误标成近景黄斑；Ours 列在 ×4 红框里仍铺满。
  • Table 2 的 ACID 上，标准分辨率 Ours 略低于若干基线（PSNR 27.992 vs pixelSplat 28.284），但平均三项分辨率后为 26.146，GPP 0.625、约 9.14 万高斯，仍远低于 13.11 万–39.32 万。作者把这解释为：户外大平面更吃尺度调制，放大后结构更稳，标准分辨率上则可能让出一点纹理锐度。
  • 图4 显示 Small/Medium/Large 三条曲线随 GPP 从约 0.4 升到 0.9，PSNR、SSIM 上升、LPIPS 下降，但在合理区间内变化平缓，说明剪枝主要丢掉冗余而不是结构。图5 给出同一卧室：0.39 GPP 墙面更光滑水密，0.85 GPP 窗框与海报边缘更锐。Table 3 跨数据集平均 GPP 0.685，PSNR 20.208，紧凑度领先，绝对质量相对 SurfSplat 的 21.078 仍有折中。Table 4 中 CompactSplat-L 质量接近 TokenGS、明显优于 C3G 与 VolSplat 的两项重评，但设定并不对齐。

阅读时需要注意

  • 附录 A.7 写明：四叉树是刚性正交网格，形状感知或语义驱动剖分可能在极端剪枝时再抬高保真度；目前主要消单视图内冗余，多视图重叠几何的跨相机剪枝还没做。
  • 跨数据集并不是全面超越：ScanNet、DL3DV 上部分指标低于 DepthSplat 或 SurfSplat，作者在引言也把跨数据集结果概括为质量–紧凑度折中。方法需要已知相机，不能直接接到无位姿前馈。
  • PDF 页脚带 NeurIPS 2026 模板，按预印本处理，不视为已接收。抽取流水线没有切出 Figure 2 架构图，阅读方法请以第 4–6 页正文与算法 1、2 为准。

关联工作

  • 3DGS 把神经辐射场推到显式点基表示。前馈一线从 Splatter Image 的参数图，发展到 pixelSplat 的对极几何、MVSplat 的代价体、DepthSplat 的深度交互和 SurfSplat 的表面连续性。HiSplat 用多层预测增加每像素基元，进一步加重平坦区冗余。
  • TokenGS 用可学习 query 把高斯数与分辨率、视图数解耦；C3G 从无位姿多视图预测紧凑集合；VolSplat 按深度抬特征再从占用体素解码；Off The Grid 检测亚像素位置并用图像熵调斑块密度。CompactSplat 的差异是：划分发生在图像四叉树上，尺度与块足迹显式绑定，并且用课程训练把 τ 变成推理旋钮。
  • 压缩 3DGS 的 HAC、LightGaussian、Compact3D 等主要作用于已优化场景；CompactSplat 针对的是前馈预测阶段的分配冗余，而不是训练后量化。

发表评论