方法贡献

SCION：用实例化神经基元组合三维场景

作者

快速导读：SCION 把独立高斯换成可复用基元词表加轻量世界空间实例，从多视图图像端到端发现重复结构，在约 1.2 MB 仍可编辑、可动画。

真实世界是组合出来的：一面砖墙是同一块砖的许多姿态，一片草地是少数草叶模板的大量拷贝。三维高斯溅射把这种场景拟合成百万个互不相关的高斯，渲染好看，却既占存储，也给不出“再铺一片草”这种操作。多数压缩方法只是更省地编码这些独立 splat，并不恢复重复几何。

SCION（arXiv:2610.02322，Princeton，NeurIPS 2026）把场景拆成一小套可复用神经基元，再用轻量世界空间实例把变换后的拷贝摆进去。表示规模主要随实例数增长；联合优化离散分配与连续参数，并用两级 densification 和对抗裁块损失保住共享模板的锐度。匹配存储大约 1.2 MB 时，重复结构仍连贯，并可做实例级编辑与动画。项目页https://light.princeton.edu/SCION，（本次连接失败，公开状态待核验）。

英文题目：SCION: Scene Composition with Instanced Neural Primitives

论文出处：arXiv 每日论文精选 · arXiv:2610.02322

原始论文：PDF / 论文页面

这篇论文解决什么问题？

图1把问题画成一条装配流水线：稀疏点上的实例被赋给词表里的基元，局部 splat 组装后再渲染。若每个蓝叉、红叉、绿叉都各自存一套高斯，草坪和砖墙就会把同一几何存成千上万遍。

相关工作分三路。压缩（HAC++、OMG、ContextGS 等）保持独立 splat，只改编码；规律检测和程序化反演需要已有几何或文法；Splat and Replace 在训好的 3DGS 上靠人手选较大物体再融合。作者认为缺口是：从多视图图像直接发现细粒度重复，并把重复写进表示本身。

优化上还有两个难点。重复单元可大可小，这是最小描述长度问题；真实实例并不全同，像素级共享会把模板平均成糊的均值。SCION 用词表内 splat 操作、世界空间实例操作，以及只加在 splat 通路上的对抗损失来同时处理这两件事。

核心创新

  • 用可复用神经基元词表加轻量变换实例，替代百万独立高斯，使场景紧凑、有结构、可直接操纵。
  • 提出面向词表的两级 densification：基元局部 splat 出生/重定位，以及世界空间实例剪枝、克隆与细分，并与分离优化一起保持锐度。
  • 在匹配存储下相对高斯压缩方法有更好的率失真权衡，并无需重训即可做实例级编辑与动画。

方法概览

SCION 把场景表示成可复用局部基元词表 C={c_k} 与世界空间实例集合。每个基元是局部坐标系下的一束 3D 高斯；每个实例只存位姿 (t,R)、尺度、不透明度和离散分配 a_i。存储主要随轻量实例数 N 增长，而不是随基元数 K 或 splat 数 S。用 COLMAP 稀疏点初始化实例，用冻结 DINOv3 特征做硬分配并在重建中保持固定。每轮对同一视图做两次渲染：splat 通路停梯度于实例参数，实例通路停梯度于 splat，避免耦合。图像损失为 L1+SSIM，并调度加入 LPIPS；warmup 后在 splat 通路加随机裁块对抗损失，防止共享模板被平均成糊的均值。密度控制分两级：基元内按 MH-3DGS 规则做 splat 出生并限制在同一模板内；世界空间对高梯度小实例克隆、对大实例细分，并剪掉低不透明度实例。

  • 表示：词表 C 中每个基元 c_k 含 S_k 个局部高斯，参数包括位置、四元数、各向异性对数尺度、不透明度 logit 和视点无关 RGB。实例 ϕ_i 只存世界坐标位置与旋转、标量尺度与不透明度，以及离散索引 a_i。渲染时把局部 splat 与实例变换合成瞬时世界高斯，光栅化器仍随组装后的高斯数增长，但磁盘只存词表加实例，复杂度约 O(K S̄ + N)。
  • 初始化：实例来自 COLMAP 稀疏点，分配来自训练图像上的冻结 DINOv3 特征，重建期间硬分配保持固定。外观关掉高阶球谐，只存零阶 RGB。
  • 分离优化：每轮对同一视图渲染两次。splat 通路停梯度于实例，实例通路停梯度于 splat，两张 RGB 相同、计算图不同。重建损失为 (1-λ_ssim) L1 + λ_ssim (1-SSIM)，并按日程加入 LPIPS。正则包括标准 splat 尺度/不透明度项，以及把实例对数尺度锚在初始化附近、限制其正向增长、把基元内 splat 拉回局部均值，防止模板漂出邻域。
  • 对抗项：warmup 步 t_D 之后，只在 splat 通路对随机裁块做判别，避免跨实例聚合把高频细节抹掉。
  • 密度控制：splat 出生被限制在同一基元内，父重要性在基元内 z-score，接受率还除以同基元体素密度，并在拷贝到多个重叠实例时校正不透明度与尺度。实例侧先删低不透明度或非法参数，再按累积梯度克隆小实例或把大实例细分成 M 个子实例，子实例继承旋转、分配和不透明度，只改位置与尺度。

逐图理解论文

研究缺口

研究缺口
Figure 2: Neural primitive assembly. The (a) learned primitives are (b) instantiated multiple times throughout the scene, resulting in (c) assembled primitive structures that (d) construct the scene.

图2四段：左列四个虚线框是学到的模板（草丛、细枝、黄花、另一丛叶）；中间伪彩是 Template Frequency Map，圆桌和花丛处出现高饱和色块；右中 Assembled Template 标明 x98、x54、x86、x32 的实例次数；最右 Fully Assembled Render 用虚线框把这些模板嵌回花园照片。用来讲“学一次、摆很多次”。

方法贡献

方法贡献
Figure 1: Overview of SCION. We initialize instances from a sparse point cloud, group them into reusable primitives, assemble the selected local splats for rendering, and update the representation through image losses, projected adversarial supervision, and active densification.

图1从左到右是 Instance、Vocabulary、Primitive、Assembly、Render。彩色叉号是稀疏点上的实例，被赋给竖条词表中的某一行，弹出一丛局部高斯（标注 3DGS parameterization），再铺到砖墙和灌木上。右侧 GT 与 Render 是花园圆桌场景；底部总损失把实例通路与 splat 通路的重建加正则写在一起，并在 t≥t_D 后加对抗项，判别器箭头连到可微与不可微补丁。宜作特色图。

关键证据

关键证据
Figure 4: Component ablation renders. Example render of the Ours-Large variant of our method on the Garden scene from MipNeRF360. “DC” stands for density control.

图4是 Ours-Large 在 Garden 上的组件消融。五行标签为 Ground Truth、Splat DC、+Instance DC、+LPIPS、+Adversarial。上一行树根落叶，下一行草地。前三列仍偏糊，+LPIPS 略清，+Adversarial 最接近真值。用来说明对抗项对共享模板锐度的作用大于再加一层参考感知损失。

实验如何设计？

  • 基准为 Mip-NeRF 360、Tanks & Temples、Deep Blending、Synthetic-NeRF，标准相机划分，默认 30k 迭代。指标为 PSNR、SSIM、LPIPS 和磁盘 MB。
  • 匹配存储实验把对照压到大约 1.5 MB 的最低可用工作点：ContextGS、HAC++、OMG。不含无法压到 2 MB 以下或没有预算旋钮的方法，如 PCGS。
  • 消融在 MipNeRF360 garden 上对 Ours-Small 与 Ours-Large 累加：仅 splat 密度控制，再加实例密度控制，再加 LPIPS，最后加对抗。定性对比约 1.5 MB 下的砖墙和草地，以及同一风力参数下 3DGS 与 SCION 的光流。

关键结果与论文证据

  • 表1（页7）：MipNeRF360 上 Ours-Small 为 22.01 dB / 0.605 SSIM / 0.431 LPIPS / 1.204 MB。HAC++ 像素更好（26.51 dB、1.699 MB），OMG 为 26.25 dB、1.353 MB。SCION 明确用结构换像素，体积最小。
  • 正文对照图3（页8）：约 1.5 MB 时 SCION 砖缝和草叶仍成片，OMG 与 HAC++ 变糊，ContextGS 出现散斑。这与表1的 PSNR 排序并不一致，论文据此强调感知与结构不能只看像素均值。
  • 表2与图4（页8–9）：Ours-Large 上对抗项把 LPIPS 从 0.33 降到 0.27，同时 PSNR 略降。图4 第二行草地在 +Adversarial 后最接近 Ground Truth；只加 LPIPS 仍偏糊。作者写到，对抗带来的 LPIPS 改进大于直接加 LPIPS 损失本身。
  • 编辑与动画（页8–9）：词表提供增删替换基元的手柄，也可用文本检索 DINO 特征再插入实例。同一风力下，3DGS 的花被不一致的逐 splat 变换撕开，SCION 通过实例变换让整朵花一起动。

阅读时需要注意

  • 无重复或实例差异很大的场景不适合硬共享；当前 a_i 固定，实例不能在训练中改投其他基元。
  • 双通路、判别器和 LPIPS 让训练更贵。匹配存储下 HAC++/OMG 的 PSNR 更高，不能把 SCION 宣传成全面更清晰。
  • 论文没有把编辑器做成独立系统，动画与编辑是表示带来的附带能力，定量编辑评测有限。

关联工作

  • 相对平坦 3DGS 压缩，SCION 共享的是几何模板而不是码本参数。相对 Splat and Replace，它从多视图端到端学细粒度重复，不要求人手标物体。
  • MH-3DGS 的出生规则被收进单个基元，避免跨模板漂移。DINOv3 只负责初始化分配，不在重建中继续分类。
  • 把重复部分当成一等输出，而不是事后加在无结构高斯场上，是这篇工作相对编辑插件和动态高斯场的位置。

发表评论