PanoLess：无需全景拍摄，从单侧反射重建高保真环境光照

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

PanoLess：从部分反射视图重建环境

Ahitagni Das, Ashok Veeraraghavan 和 Vivek Boominathan

美国德克萨斯州休斯顿莱斯大学，邮编 77005

摘要。来自光泽物体和玻璃幕墙的反射自然地扩展了相机的视野，无需平移相机或获取全景即可捕捉周围环境。我们提出了 PanoLess，这是一个基于高斯泼溅的框架，仅从反射表面一侧捕获的图像中重建周围环境的远距离光照图。PanoLess 利用表面对齐的 2D 高斯泼溅与延迟着色相结合，以恢复准确的逐像素法线和反射线索，并将其融合到环境的神经立方体贴图表示中。此外，PanoLess 生成一个可见性掩码，明确指出哪些环境区域由部分反射观测结果支持。与通常需要完整 360◦ 覆盖且在视图不完整时表现不佳的现有逆渲染和反射感知高斯泼溅方法不同，PanoLess 能够从部分视图输入中实现一致且符合物理规律的光照估计。我们表明，PanoLess 实现了高保真且几何一致的环境重建，在新的自定义合成基准和公开可用数据集上优于反射感知基线，并展示了在真实世界反射捕获中的泛化能力。[cs.CV] 关键词：高斯泼溅 · 3D 视觉 · 空间智能

图 1：PanoLess 从反射物体的部分视图中恢复周围环境——无需全景捕获。从光泽表面一侧拍摄的图像中，PanoLess 估计环境图以及可见性掩码，以区分观测良好的区域和支持不足的区域。

1 引言

玻璃幕墙、金属和抛光物体等反射表面提供了独特的机会，可以查看相机本身无法直接看到的周围环境部分。与遵循漫反射假设（通常在多视图重建中利用 [11,28]）的表面不同，镜面反射充当

第 2 页

2 Ahitagni Das , Ashok Veeraraghavan , and Vivek Boominathan

作为间接成像路径，自然地扩展了相机的视场，而无需平移或全景捕获。然而，反射表面的外观由其几何形状和周围光照共同决定，从而产生固有的歧义：不同的表面法线和光照组合可以重现相同的观测结果 [1, 25]。在实际场景中，通常只能看到反射物体的一侧，导致部分且不完整的反射线索，这些线索编码了关于物体形状和不可见环境的信息。这些线索难以可靠地解释，经典的多视图立体视觉 [28] 和最近的神经渲染管线 [30] 在这种部分视图条件下难以将几何形状与光照分离。

仅从部分反射观测中恢复环境贴图是扩展机器人、AR/VR 和自主导航空间感知能力的有力手段。然而，大多数现有的逆渲染和反射感知方法隐式地假设密集的近 360◦ 覆盖或依赖强监督，使其在现实的有限视图场景中变得脆弱。

基于点和泼溅的神经场景表示的最新进展为实时高质量渲染开辟了新的可能性。其中，Gaussian Splatting [10,16] 已成为高效场景重建和可微渲染的主要范式。然而，体积高斯缺乏显式表面，因此产生不一致的法线和反射方向，限制了其推理镜面现象的能力。表面对齐的 2D Gaussian Splatting 通过显式建模切平面几何和法线来解决这一问题，但先前的扩展仍依赖于简化或低频的光照模型，不足以重建真实世界环境照明的复杂高频结构——尤其是当环境的大部分区域不可见时。

我们引入了 PanoLess1，这是一个框架，它从仅在一侧拍摄的反射表面图像中恢复周围的环境作为远距离光照贴图（2D 立方体贴图），而无需大型相机平移或全景捕获。PanoLess 建立在 2D Gaussian Splatting 提供的准确法线和反射线索以及延迟着色之上，并将它们聚合到能够建模高频方向辐射的神经立方体贴图表示中。关键的是，我们还引入了一个可见性掩码，用于量化哪些环境区域直接由可用反射支持，而哪些区域必须推断。这种对缺失环境区域的显式推理使得在高度不完整的可观测性下能够进行一致且基于物理的光照估计。我们的贡献如下：

– 我们制定了部分视图环境重建：从仅在镜面一侧观察到的反射中恢复高保真环境贴图，而无需全景捕获。 – 我们引入了一个可见性掩码，基于反射物体几何采样的射线，提供环境贴图的逐像素置信度。

1 项目页面：https://vb-glee.github.io/panoless/

第 3 页

PanoLess：从部分反射视图重建环境 3

– 我们引入了 Shiny Partial 基准，用于具有真实环境地图的部分视图环境重建，显示 PanoLess 相比基线方法实现了近 5 dB 的提升，且平均法线误差低于 5◦。 – 我们在真实世界的手持捕获数据上验证了 PanoLess，表明其无需特定领域的监督即可泛化到合成数据之外。

2 相关工作

3D 高斯泼溅及其扩展。3D 高斯泼溅 (3DGS) [16] 使用各向异性体积高斯进行实时光栅化来表示场景，在 novel view synthesis（新视角合成）方面实现了前所未有的速度和质量。然而，原始 3DGS 使用低阶球谐函数 [25] 编码视图依赖性，无法表示尖锐的镜面高光。更重要的是，3D 高斯缺乏显式表面，导致法线模糊且反射不一致。几种扩展方法试图解决这些局限性。GaussianShader [14] 引入基于高斯协方差的启发式法线估计以实现着色，但法线仍然不稳定。Relightable 3D Gaussians [7] 将外观分解为漫反射和镜面分量，并估计法线和材质，支持重光照。GS-IR [19] 在 Gaussian 框架内对几何、BRDF 和光照进行完整的逆渲染，而 3DGS-DR [36] 通过屏幕空间光线追踪引入延迟反射渲染。Spec-Gaussian [34] 用各向异性球面高斯替换球谐函数，以更忠实地建模高频瓣。DN-Splatter [29] 结合单目深度和法线先验来正则化几何。尽管有这些进展，所有基于 3DGS 的方法都继承了体积泼溅的根本局限性：没有真实表面，它们无法保证一致的法线和反射方向，通常导致模糊或不正确的高光。

2D 高斯泼溅与反射表面。2D 高斯泼溅 (2DGS) [10] 通过引入表面对齐基元克服了 3DGS 的几何歧义：每个高斯是一个由两个切向量定义的平面 surfel，产生显式且一致的法线。这种表示显著提高了标准数据集 [12] 上的重建精度。2DGS 的扩展包括 PGSR [3]（将 2DGS 与神经 SDF 结合）、GaussianSurfels [4]、Gaussian Opacity Fields [37] 和 Street Gaussians [33]，它们都强调几何保真度。对于反射表面，早期工作如 Mirror-3DGS [21] 通过光线步进处理平面镜，而 GaussianRoom [31] 建模室内反射场景但依赖低频光照。最近，Ref-GS (CVPR 2025) [39] 为 2DGS 上的镜面效果引入了 Deferred Shading，但其光照在着色模型中是隐式的。总体而言，2DGS 为反射提供了几何上坚实的基础，但当前方法缺乏表现力强的环境光照。另一条反射感知方法线通过显式光照或材质模型针对镜面外观——通过神经或方向性环境光照 [13,20]、在 2DGS 上的基于物理的延迟渲染 [35]、环境高斯和 2D 高斯光线追踪 [8,32]，或基于多视图的材质先验 [38]；正交地，生成先验从单张图像中幻觉出合理的光照 [24]。

第 4 页

4 Ahitagni Das , Ashok Veeraraghavan , and Vivek Boominathan

环境贴图与联合光照。环境贴图是渲染反射材料的基石[2,5,6]，在已知表面法线时能够实现高质量的反射。基于球谐函数的经典模型[15,26]仅能捕获低频光照，限制了真实感。Neural Radiosity [9]、EnvMapNet [27] 和 ENVIDR [18] 等神经方法引入了可学习的环境表示，以捕获高频光照。几何与光照的联合优化已被证明能提高重建精度[17,22,23]。相比之下，先前的工作依赖于体积或隐式场景模型，而我们的方法将表面对齐的2DGS与神经环境贴图相结合，以实现高保真、实时的反射重建。

3 方法论

图 2: 我们渲染流程的概述。给定一组可优化的2D高斯，我们将每个高斯的属性光栅化以获得法线、反照率、粗糙度、深度和alpha图。表面法线和视角方向给出反射方向，这些方向查询可学习的立方体贴图编码器以产生镜面颜色；该颜色与漫反射反照率组合以生成最终渲染结果。

我们的流程包含三个阶段：(i) 一个高斯泼溅阶段，将表面对齐的基元光栅化为屏幕空间的反照率和几何缓冲区，(ii) 一个延迟着色阶段，使用学习到的神经立方体贴图对每个像素评估镜面反射，以及 (iii) 一个可见性累积阶段，跟踪哪些环境方向得到了观测的支持。我们方法的概述如图2所示。

3.1 场景表示

我们将场景表示为 K 个表面对齐的2D高斯基元 {Gi}Ki=1 的集合，遵循 Huang 等人[10]的方法。每个基元 Gi 是一个平面 surfel，由中心 µi ∈R3、两个张成局部切平面的切向量 tu,i, tv,i ∈R3、不透明度 oi ∈[0, 1] 以及漫反射线性 RGB 颜色 cdi ∈R3 定义。表面法线由 ni = tu,i × tv,i/∥tu,i × tv,i∥ 显式给出。这种构造保证了每个高斯都携带定义良好、几何一致的法线，这与体积3D高斯不同，后者最短轴启发式方法会产生不稳定的方向[16]。

第 5 页

PanoLess：从部分反射视图重建环境 5

3.2 延迟光栅化

给定具有视图矩阵 $V$ 和投影矩阵 $P$ 的相机，我们将 2D高斯泼溅 投影到图像平面上，并执行从前向后的 alpha 混合。对于通用的逐图元属性 $\psi_i$，像素 $p$ 处的合成屏幕空间缓冲区为 $$ \Psi(\mathbf{p}) = \sum_{i \in \mathcal{N}} \alpha_i \mathcal{G}_i(\mathbf{p}) \psi_i \quad (1) $$ 其中 $\mathcal{N}$ 表示重叠于 $p$ 的深度排序图元集合，$o_i$ 为逐图元不透明度，$\mathcal{G}_i(\mathbf{p})$ 为屏幕空间高斯评估值。通过选择 $\psi_i$ 为 $c_{di}$，我们获得漫反射反照率图 $\mathbf{A}$。除了反照率外，光栅化器还输出一个七通道辅助图 $$ \mathbf{M} = [\, D_{\text{exp}},\; \alpha,\; \mathbf{N}_{\text{rast}},\; D_{\text{med}},\; D_{\text{dist}} \,] \quad (2) $$ 其中 $D_{\text{exp}}$ 和 $D_{\text{med}}$ 分别为期望深度和中值深度，$\alpha$ 为累积不透明度，$\mathbf{N}_{\text{rast}} \in \mathbb{R}^3$ 为相机坐标系中的光栅化法线，$D_{\text{dist}}$ 编码用于正则化的深度失真 [10]。

3.3 表面几何提取

鲁棒的表面几何对于计算准确的反射方向至关重要。我们通过混合期望深度图和中值深度图来推导复合表面深度： $$ D_{\text{surf}}(\mathbf{p}) = \lambda_d D_{\text{exp}}(\mathbf{p}) + (1-\lambda_d) D_{\text{med}}(\mathbf{p}) \quad (3) $$ 其中 $\lambda_d = 0.5$。这种混合减轻了由半透明区域引起的期望深度中的噪声，同时保留了中值捕获的尖锐不连续性。随后通过在屏幕空间对深度图进行微分来恢复表面法线： $$ \mathbf{n}_{\text{surf}}(\mathbf{p}) = \text{normalize}\left( \frac{\partial D_{\text{surf}}}{\partial u} \times \frac{\partial D_{\text{surf}}}{\partial v} \right) \quad (4) $$ 其中 $u, v$ 表示图像平面坐标。这些由深度导出的法线补充了来自 alpha 合成图元方向的 $\mathbf{N}_{\text{rast}}$；我们通过 $\mathbf{N}_{\text{world}} = V_{3\times3}^\top \mathbf{N}_{\text{rast}}$ 将后者从相机空间变换到世界空间并重新归一化。在实践中，我们使用 $\mathbf{N}_{\text{world}}$ 进行反射计算，并将 $\mathbf{n}_{\text{surf}}$ 作为正则化器进行监督。

3.4 延迟高光着色

我们将环境建模为远距离照明：辐射度仅取决于方向，因此周围环境形成存储在 2D Cubemap 中的 $S^2$ 上的函数。因此，PanoLess 恢复环境贴图，而 2D高斯泼溅 仅建模反射表面。这种远场假设在逆渲染中是标准的，当反射器相对于其到场景的距离较小时是准确的，正如我们要针对的立面和室外物体那样。我们的着色模型完全在屏幕空间中运行，在光栅化阶段生成反照率和几何缓冲区之后。

第 6 页

6 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

反射方向。令 $v(p)$ 表示像素 $p$ 处由相机内参和像素坐标获得的单位相机射线方向。相对于表面法线 $n(p)$ 的镜面反射方向为

$$ \boldsymbol{\omega}_r(\mathbf{p}) = \text{normalize}\bigl(\mathbf{v}(2(\mathbf{v}(\mathbf{p})\cdot\mathbf{n}(\mathbf{p}))\,\mathbf{n}(\mathbf{p}) – \mathbf{v}(\mathbf{p}))\bigr) \quad (5) $$

对法线误差的敏感性。由于每个立方体贴图查询都由 $\omega_r$ 索引，恢复环境图的保真度取决于表面法线的准确性。在固定视角下扰动法线 $\mathbf{n} \to \mathbf{n} + \delta\mathbf{n}$ 并忽略二阶项，反射方程给出

$$ \delta\boldsymbol{\omega}_r = -2\biggl[ (\mathbf{v}\cdot\mathbf{n})\,\delta\mathbf{v} + (\mathbf{v}\cdot\delta\mathbf{n})\,\mathbf{n} \biggr] \quad \|\delta\boldsymbol{\omega}_r\| \approx 2\|\mathbf{v}\cdot\mathbf{n}\|\,\|\delta\mathbf{n}\| \quad (6) $$

因此，反射方向误差与法线误差呈一阶线性关系，且在掠射角处放大效应最大。由于位姿误差直接传播到估计的法线中，这预测了恢复的环境对相机位姿准确性的相应敏锐敏感性，我们在第 4.5 节中对此进行了量化。

Neural Cubemap。我们将环境图表示为可学习的立方体贴图 $E : S^2 \to \mathbb{R}^3$，存储为六个可训练的 $L \times L$ RGB 网格（每个立方体面一个），收集在一个单一的 $6 \times 3 \times L \times L$ 参数张量中。对于查询方向 $\omega \in S^2$（直接以笛卡尔坐标给出），我们确定主导面，计算 $(s, t)$ 参数化，并通过在相应面网格上进行双线性插值来检索辐射度：

$$ \mathbf{L}_{\text{env}}(\boldsymbol{\omega}) = \sigma(\mathcal{E}(\boldsymbol{\omega})) \quad (7) $$

其中 $\sigma(\cdot)$ 是 sigmoid 激活函数，将输出约束在 $[0, 1]$ 范围内。反射方向直接输入采样器，因此镜面颜色精确为 $\sigma(E(\omega_r))$，中间没有网络。环境图通过光度损失与高斯参数联合优化，梯度通过双线性采样器流动。与依赖球谐函数 [16] 或预过滤多级立方体贴图 [38] 的方法不同，我们的单层立方体贴图直接存储高频辐射度，足以实现镜面反射。Ref-GS 风格的编码器 [38] 从逐像素粗糙度中选择一个 mip 级别并用 MLP 解码；对于我们的近零粗糙度目标，这坍缩到最锐利的 mip 级别，增加了参数但未改变输出。直接查找为光度损失提供了通往每个纹理像素的无衰减梯度路径；我们的消融实验（第 4.4 节）表明，重新引入粗糙度衰减会降低渲染质量和恢复的环境图——在密集捕获下不可见，但在部分视角下至关重要，因为衰减恰好在样本稀疏处剥夺了监督信号。

颜色合成。我们将最终的逐像素颜色合成为漫反射和镜面分量的总和：

$$ \mathbf{f}(\mathbf{p}) = \underbrace{\mathbf{A}(\mathbf{p})}_{\text{diffuse}} + \underbrace{\mathbf{L}_{\text{env}}\bigl(\boldsymbol{\omega}_r(\mathbf{p})\bigr)}_{\text{specular}} \quad (8) $$

第 7 页

PanoLess：从部分反射视图重建环境 7

其中 A 是光栅化的反照率图。值得注意的是，镜面反射项直接从环境贴图获取，无需经过中间的多层感知机（MLP）或学习的混合权重。这与先前通过粗糙度相关的反射强度来调制环境贡献 [36] 或评估完整 BRDF 积分 [38] 的工作形成对比。针对我们目标的高度反射表面，经验表明学习的混合权重会收敛至 1，因此直接连接能产生更清晰的梯度并加快收敛速度，且避免了冗余的参数化。

3.5 训练目标与协议

我们通过光度损失端到端地优化所有可学习参数——高斯属性 {Gi} 和环境贴图 E。遵循高斯泼溅中的标准做法 [16, 36]，我们将 L1 项与结构相似性项相结合：

\mathcal{L}_{\text{color}} = (1-\lambda_s)\,\mathcal{L}_1 + \lambda_s\,\mathcal{L}_{\text{D-SSIM}}, \quad (9)

其中 \lambda_s = 0.2。各个项均在合成图像上评估：

\begin{align} \mathcal{L}_1 &= \left| \mathbf{C}_{\text{out}} \odot \alpha – \mathbf{I}_{\text{gt}} \right| \quad (10) \\ \mathcal{L}_{\text{D-SSIM}} &= \text{SSIM}(\mathbf{C}_{\text{out}} \odot \alpha, \; \mathbf{I}_{\text{gt}}) \quad (11) \end{align}

其中 b 是背景颜色，I_gt 是真实图像。

我们引入深度-法线一致性正则化器，鼓励光栅化法线与基于深度推导的法线之间的一致性：

\mathcal{L}_{\text{n-d}} = \mathbf{N}_{\text{world}}^{\top} \mathbf{n}_{\text{surf}} \quad (12)

该正则化器由 Huang 等人 [10] 引入，可共同锐化几何结构并稳定驱动反射计算的法线估计。在前 3000 次迭代中，我们额外使用二元交叉熵损失对累积不透明度进行监督，目标为真实物体掩码：

\mathcal{L}_{\alpha} = \text{BCE}(\alpha, \; m_{\text{gt}}) \quad (13)

其中 m_gt 是真实 alpha 掩码。这种早期阶段监督促使高斯分布快速收敛至物体轮廓，替代了通常由全轨道多视图一致性提供的几何锚定作用，而在所有相机位于一侧时这种一致性是不可用的。总目标函数为

\mathcal{L} = \mathcal{L}_{\text{color}} + \lambda_{\text{nd}}\,\mathcal{L}_{\text{n-d}} + \mathbb{I}_{t<3000}\,\lambda_{\alpha}\,\mathcal{L}_{\alpha} \quad (14)

所有高斯参数和环境贴图 E 均从零迭代开始联合优化。在整个训练过程中，我们应用基础 2D Gaussian Splatting [10] 的自适应密度控制，包括周期性不透明度重置以及克隆/分裂操作。采用法线传播 [36] 来扩大高斯分布，将估计良好的法线传播到相邻图元，从而加速反射区域的收敛。可见性掩码 V 以在线方式在每次迭代中更新，开销可忽略不计。

第 8 页

8 Ahitagni Das , Ashok Veeraraghavan , and Vivek Boominathan

3.6 可见性累积

对反射物体的部分视角捕获仅照亮环境中的部分方向。在训练期间从未查询的方向缺乏光度监督，必须与观测良好的区域区别对待。因此，我们在与 E 相同的立方体贴图网格上维护一个可见性映射 $V : S^2 \rightarrow [0, 1]$，记录每个环境方向的累积证据。在训练过程中，对于每个 $\alpha(p) > \tau$ 的像素 $p$，我们根据其累积透明度加权，在对应的反射方向 $\omega_r(p)$ 处向 $V$ 散射增量。训练结束后，$V$ 提供每个纹素的显式置信度分数：高值表示由观测反射良好约束的方向，而接近零的值标记从未反射到训练视图中的区域。该映射有两个用途：(i) 它确定了恢复环境的角范围，使下游应用能够区分可信光照与外推内容；(ii) 它可用于调制环境贴图正则化，在未观测区域应用更强的先验。该信号仅在部分覆盖下有意义：在密集的 360◦ 捕获中，它会趋向于饱和为常数，仅当环境的大部分区域缺乏支持时才携带信息。

4 实验

数据集。现有的反射基准 [30] 提供了具有中等镜面反射特性的物体的密集 360◦ 覆盖，且没有真实环境贴图，从而无法评估高度反射表面上部分视角环境重建的性能。我们通过两个基准来解决这一空白。Shiny Partial 是一个基于 Blender 的管道，它从限制在单个半球内的相机弧渲染图像，并导出真实环境贴图；我们发布了生成器以及三个固定场景——Cola、Vase 和 Mirror，每个场景各有 100 张训练图像和 200 张测试图像。我们还通过限制 Shiny Blender 数据集 [30] 为单半球子集构建了 Partial Shiny Blender，提供了在第 4.5 节中讨论的混合镜面反射测试平台。此外，我们在真实世界捕获（Shiny Real）上进行了验证，并在第 4.4 节中展示了消融实验。

4.1 Shiny Partial 结果

表 1 报告了我们在 Shiny Partial 基准上的定量结果。PanoLess 在所有场景的 PSNR、SSIM 和 L1 上均优于所有基线，并在三个场景中的两个上实现了最低的 LPIPS。平均而言，PanoLess 达到了 13.69 dB——比次优方法（MaterialRefGS，8.89 dB）高出近 5 dB。改进在 Mirror 上最为显著（+4.8 dB），其中平面几何结构需要全局一致的法线才能正确解析反射环境，而体积基线在此设置下失败。 准确表面法线是环境重建的最关键因素：每个像素的反射方向直接根据

第 9 页

PanoLess：从部分反射视图重建环境光照 9

表 1：Shiny Partial 上的定量结果。我们报告环境贴图渲染质量（PSNR、SSIM、LPIPS、L1）和法线估计精度（MAE、中位数、RMSE（以度为单位），以及误差在 5◦、11.25◦ 和 22.5◦ 阈值内的像素百分比）。PanoLess 在每个场景上均取得了最佳的渲染指标，并产生了显著更准确的法线，平均而言，近 90% 的像素误差在 5◦ 以内。最佳和次佳结果已高亮显示。

环境贴图 法线估计 场景 方法 PSNR ↑ SSIM ↑ LPIPS ↓ L1 ↓ MAE ↓ 中位数 ↓ RMSE ↓ < 5◦↑ < 11.25◦↑ < 22.5◦↑

3DGS-DR [36] 7.96 0.204 0.665 0.346 14.76 44.51 26.72 49.82 63.24 78.73 GShader [14] 9.62 0.121 0.668 0.264 28.45 22.74 34.43 0.08 9.08 49.10 Vase Ref-Gaussian [35] 13.63 0.397 0.535 0.150 23.11 17.15 28.84 1.03 27.43 64.48 MaterialRefGS [38] 14.05 0.474 0.461 0.155 10.67 6.23 16.34 30.39 83.10 91.87 Ours 18.51 0.635 0.487 0.082 3.97 2.73 7.29 88.10 96.40 98.87

3DGS-DR [36] 4.52 0.270 0.700 0.526 15.46 4.49 32.40 52.16 74.12 85.03 GShader [14] 6.47 0.118 0.736 0.402 33.56 23.75 43.79 0.22 18.70 48.23 Cola Ref-Gaussian [35] 7.26 0.249 0.660 0.372 22.35 16.91 28.52 3.47 27.32 65.79 MaterialRefGS [38] 6.81 0.302 0.587 0.416 10.23 8.06 13.62 21.55 79.39 93.55 Ours 9.26 0.442 0.477 0.325 6.25 3.21 10.36 82.98 87.48 91.28

3DGS-DR [36] 6.22 0.274 0.711 0.420 46.59 68.18 52.75 0.11 2.30 40.39 GShader [14] 8.54 0.145 0.710 0.297 52.15 52.14 53.69 0.00 0.00 2.25 Mirror Ref-Gaussian [35] 5.56 0.226 0.746 0.457 14.76 14.19 15.28 0.00 41.67 93.79 MaterialRefGS [38] 5.82 0.291 0.755 0.449 14.04 13.46 15.05 0.00 50.75 94.86 Ours 13.31 0.337 0.655 0.177 4.64 4.62 4.65 97.00 97.00 97.00

3DGS-DR [36] 6.23 0.249 0.692 0.431 25.61 25.91 37.29 34.03 46.55 68.05 GShader [14] 8.21 0.128 0.705 0.321 38.05 32.88 43.97 0.10 9.26 33.19 Avg. Ref-Gaussian [35] 8.82 0.291 0.647 0.326 20.07 16.08 24.21 1.50 32.14 74.69 MaterialRefGS [38] 8.89 0.356 0.601 0.340 11.64 9.25 15.00 17.31 71.08 93.43 Ours 13.69 0.471 0.540 0.195 4.95 3.52 7.43 89.36 93.63 95.72

图 3：Shiny Partial 上恢复的环境贴图。对于每个场景，我们展示真实环境贴图、我们的重建结果、我们的可见性掩码（亮度越高表示观测越好），以及从每个基线提取的环境贴图。左上角标注了与真实环境贴图的 PSNR。

估计的法线，因此即使是很小的角度误差也会重定向立方体贴图查询并破坏恢复的照明。表 1 报告了法线估计指标以及渲染质量，图 4 可视化了所有三个场景中每个像素的角度误差。PanoLess 的平均角度误差为 4.95◦，而次优方法（MaterialRefGS）为 11.64◦，且将近 90% 的像素误差在 5◦ 以内。在 Mirror 场景上，这种改进尤为显著，PanoLess 实现了 4.64◦ 的 MAE，且 97% 的像素误差低于 5◦，而所有基线的 MAE 均超过 14◦。这是因为平面表面要求全局一致的法线方向——任何局部扰动都会产生

第 10 页

10 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

表 2：匹配轮廓监督。我们使用相同的 $L_\alpha$ 在前 3k 次迭代中重新训练 MaterialRefGS（我们的最强基线）。即使拥有这一优势，它在每个场景和指标上均落后于 PanoLess——在 Mirror 场景上尤为明显，PanoLess 将 97% 的法线置于 5◦ 以内，而 MaterialRefGS 仅为 0%。Shiny Partial 上的法线估计；最佳结果已高亮显示。

MaterialRefGS + $L_\alpha$ | PanoLess (Ours) —|— 场景 MAE ↓ 中位数 ↓ < 5◦↑ | MAE ↓ 中位数 ↓ < 5◦↑ Cola 10.42 8.43 20.0 | 6.25 3.21 83.0 Vase 9.73 6.09 33.4 | 3.97 2.73 88.1 Mirror 14.79 13.99 0.0 | 4.64 4.62 97.0

图 4：Shiny Partial 上的逐像素法线角度误差。我们可视化了每种方法在所有三个场景中预测表面法线与真实表面法线之间的角度误差（以度为单位）。PanoLess 在整个表面上产生均匀的低误差，而基线方法表现出较大的误差。颜色范围从 0◦（暗）到 90◦（亮）。

可见的错误反射方向。体积基线缺乏表面对齐的几何结构来强制执行这种一致性，导致图 4 中可见的碎片化误差图。在曲面物体（Cola, Vase）上，PanoLess 保持了跟随表面曲率的平滑误差场，而基线在轮廓和高曲率区域显示出升高的误差，在这些区域最短轴法线启发式方法失效。这些结果验证了我们基于 2D Gaussian surfels 的核心设计选择：显式的切平面法线提供了几何基础，如果没有它，无论立方体贴图具有多大的表达能力，都无法恢复连贯的环境。

匹配轮廓监督下的公平性。一个自然的担忧是 PanoLess 是否因其早期的轮廓损失 $L_\alpha$ 而获得了不公平的优势。为了隔离这一因素，我们使用相同的 $L_\alpha$ 在前 3k 次迭代中重新训练 MaterialRefGS——我们的最强基线（表 2）。增加的监督确实提高了其相对于原始公式的法线一致性，证实了在稀疏覆盖下轮廓正则化是有益的；然而 MaterialRefGS

第 11 页

PanoLess：从部分反射视图重建环境 11

在所有场景和指标上，其他方法仍落后于 PanoLess。差距在 Mirror 场景上最大，PanoLess 将 97% 的法线置于距离地面真值 5◦ 以内，而 MaterialRefGS+Lα 仅为 0%。因此，PanoLess 的优势源于其表面对齐的表示，而非仅来自轮廓监督。可恢复的环境比例由反射体的几何形状决定。Cola 和 Vase 等曲面充当广角镜：视角的微小位移会使反射方向扫过很大的角度范围，因此即使仅捕获单个半球，也能照亮周围环境的相当大一部分。相比之下，Mirror 等平面反射体将每个视角映射到一个狭窄的方向锥，且来自相同捕获配置的累积角度覆盖率仍然有限。图 3 中的可见性掩码证实了这一分析：Cola 和 Vase 显示出广泛的置信度较高区域，而 Mirror 显示出一个紧凑的观测带，立方体贴图的大部分区域缺乏支持。尽管可观测性受限，PanoLess 仍在支持区域内恢复了连贯的照明，而所有基线方法无论反射体曲率如何，都产生了不连贯的环境贴图。

图 3 展示了恢复的环境贴图。PanoLess 重建了可识别的照明——房间结构、光源和颜色梯度都得到了忠实保留——并且伴随的可见性掩码明确 delineates 哪些方向受观测反射约束，哪些是外推得出的，这是本方法独有的输出。所有基线方法都产生了严重退化的环境，从褪色低频近似（MaterialRefGS）到完全不连贯的重建（3DGS-DR, GShader）。这些方法假设具有中等镜面反射的密集、近 360◦ 覆盖，缺乏 PanoLess 所利用的直接立方体贴图监督路径。

图 5：Shiny Partial 上的新视角渲染和表面法线。

图 5 比较了新视角渲染和表面法线。PanoLess 产生了平滑、几何准确的法线场——Curved Cola 和 Vase 上的干净梯度，以及平面 Mirror 上的均匀方向——与地面真值非常匹配。基线方法显示出嘈杂、碎片化或错误的法线，这些法线传播到反射伪影并降低了渲染质量。RefGaussian 和 3DGS-DR 在 Mirror 上显示出特别严重的法线损坏。

第 12 页

12 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

误差，证实了体素高斯表示在部分视角条件下无法可靠地建模平面镜面表面。

4.2 可见性掩码的下游应用

可见性掩码本身即具有实用价值：对于每个方向，它指示恢复的照明是否有真实观测数据的支持。下游应用可以直接利用这一点，信任观测充分的方向，并对其余方向保持谨慎，无需进一步处理。这使得该掩码成为诸如门控生成式补全、仅在证据缺失处应用先验、或在重光照期间屏蔽不可靠方向等任务的天然控制信号。下文描述的高斯模糊只是利用该信号的一个简单示例，并非其核心目的。

作为具体说明，对 V 进行阈值处理（Otsu）并对标记的低置信度方向应用高斯模糊羽化，提升了 Cola 数据集（第4节）上所有环境贴图指标。增益虽小是故意为之——仅模糊掩码标记为未观测到的方向绝不会造成负面影响——这证实了该掩码校准良好，而非其本身构成主要贡献。

4.3 Shiny Real 真实结果

图 6：Shiny Real 上的环境重建。铬柱和停车场凸面镜的估计法线、可见性掩码以及恢复的环境贴图（含 PSNR/SSIM/LPIPS/L1）。

我们拍摄了两个场景——一个反射雕塑和一个停车场凸面镜——使用手持视频从每个反射器的一侧进行采集，通过 COLMAP 提取帧和位姿，并使用掩码分割每个物体。如图 6 所示，PanoLess 直接从部分反射中恢复出可识别的照明——天空梯度、附近建筑物、顶部灯光——无需合成监督，且可见性掩码正确突出了受反射器曲率和相机轨迹约束的区域。

第 13 页

PanoLess: 从部分反射视图重建环境 13

图 7: (a) 花瓶场景的消融研究。每一行移除或修改完整模型的一个组件：ρ-weighted E 将立方体贴图贡献乘以 (1−ρ)2 而非直接使用，w/o Lα 移除早期轮廓监督，w/o Ln 移除法线一致性。我们展示了每个变体的恢复环境图、可见性图、表面法线以及新视角渲染结果。(b) 完整模型在三个 Shiny Partial 场景上的输出分解，显示 alpha 掩码、深度、反照率和最终渲染结果。 表 3: 花瓶场景的消融研究。我们评估了每个组件对新视角合成（Render）和环境图重建（Env. Map）的影响。高亮显示最佳和次佳结果。

环境图 渲染

变体 PSNR ↑ SSIM ↑ LPIPS ↓ L1 ↓ PSNR ↑ SSIM ↑ LPIPS ↓ L1 ↓

完整 (Ours) 18.51 0.635 0.487 0.082 38.56 0.988 0.022 0.002 ρ-weighted E 13.94 0.569 0.546 0.146 36.16 0.982 0.036 0.003 w/o Lα 12.91 0.466 0.559 0.177 33.75 0.977 0.045 0.004 w/o Ln 8.68 0.098 0.621 0.337 35.82 0.978 0.042 0.004

4.4 消融与分解

我们在花瓶场景上对 PanoLess 的关键设计选择进行消融，评估新视角合成和环境图重建（表 3，图 7）。

法线一致性 (Ln)。移除深度-法线一致性损失导致最严重的性能下降：环境图 PSNR 从 18.51 dB 降至 8.68 dB，SSIM 骤降至 0.098。缺少此正则化器时，表面法线变得嘈杂且空间上不连贯（图 7a，底行），这破坏了针对立方体贴图查询的反射方向。环境图从错误方向接收到冲突的梯度，无法收敛到有意义的解。这证实了准确的几何结构是环境恢复的最关键前提条件——立方体贴图无法弥补法线的错误。

轮廓监督 (Lα)。移除早期的二元交叉熵损失导致环境图 PSNR 下降 5.6 dB，渲染 PSNR 下降 4.8 dB。在前 3000 次迭代中缺乏显式的轮廓引导，高斯点难以在物体边界处快速聚集，产生 alpha 泄漏并污染

第 14 页

14 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

轮廓边缘的法线将错误的反射方向注入立方体贴图。这种效果在图 7a 中可见，表现为环境地图噪声更大，且物体轮廓附近的法线质量下降。

直接立方体贴图监督（ρ加权 E）。该变体通过按 (1 −ρ)² 缩放立方体贴图贡献来重新引入粗糙度依赖的衰减，这是先前工作中的标准做法。由于目标表面具有高镜面反射特性，粗糙度值接近零但不为零，这会衰减立方体贴图信号并削弱从光度损失到环境地图的梯度路径。结果是环境地图 PSNR 下降 4.6 dB，且恢复的环境出现可见伪影（图 7a，第二行）。将反射强度设置为 1，正如我们的完整模型所做的那样，为立方体贴图提供了无衰减的梯度路径。对于高镜面反射物体，粗糙度参数化不仅是多余的——它甚至是有害的，因为即使是微小的衰减也会使立方体贴图缺乏监督信号。

输出分解。图 7b 可视化了完整模型的中间输出。Alpha 掩码接近二值化，深度图平滑，证实了高质量的 surfel 几何结构。值得注意的是，反照率图能量较低且几乎均匀——高斯泼溅将主要外观归因于立方体贴图而非漫反射通道，这验证了公式 8 中的加法着色模型。

4.5 局限性

图 8：失败案例。在咖啡杯场景中，咖啡表面缺乏金属反射，无法为环境重建提供信号。我们的方法最适合高镜面反射表面。

PanoLess 专为类镜面表面设计：公式 8 中的单位反射强度适用于镀铬、抛光金属和玻璃，但随着表面变得更加漫反射，该假设不再成立。 为了评估该方法在此范围之外的泛化能力，我们在 Shiny Blender 数据集 [30] 的五个场景（汽车、茶壶、咖啡、头盔和烤面包机）上进行了测试，这些场景表现出漫反射和镜面反射材料的混合。由于原始数据集提供了密集的 360◦ 覆盖，而这并非我们要解决的问题，我们通过选择单个半球构建了 Partial Shiny Blender

第 15 页

PanoLess：从部分反射视图重建环境 15

可用相机轨迹的子集（S3），匹配我们 Shiny Partial 基准的部分视图条件。 Partial Shiny Blender 上的定性比较见补充材料。（S3）PanoLess 继续生成结构一致的环境贴图，尽管其连贯性不如在 Shiny Partial 上：当漫反射反照率显著时，高斯泼溅将其吸收进反照率通道，将信号从立方体贴图中分流，导致重建结果更暗且保真度较低。 图 8 展示了一个极端案例。哑光咖啡表面不产生镜面反射，因此立方体贴图从这些像素接收到的梯度为零，恢复的环境贴图昏暗且不完整。这说明了根本性的权衡：在镜面表面上驱动 PanoLess 的未衰减立方体贴图路径，在缺乏反射时失效。 对位姿误差的敏感性。由于每个立方体贴图查询都由从表面法线计算的反射方向索引，PanoLess 对相机位姿精度敏感，正如我们的一阶分析（公式 6）所预测的那样。在 Vase（S5）上的位姿抖动扫描显示，相机旋转仅 σ=0.5◦ 时，环境贴图 PSNR 从 18.4 dB 急剧下降至 12.0 dB。因此，精确的位姿——例如我们真实捕获中使用的收敛良好的 COLMAP 重建——是一个实际的前提条件。

5 结论

我们提出了 PanoLess，这是一个将高镜面反射表面视为周围场景广角相机的框架，从部分视图重建环境光照，无需相机平移或全景捕获。通过结合表面对齐的 2D 高斯泼溅、联合优化的神经立方体贴图和显式可见性掩码，PanoLess 从单个半球观测中恢复高频环境贴图，相比最佳基线实现了近 5 dB 的提升，且平均法线角度误差低于 5◦。在合成和真实捕获上的结果证实该方法在不同场景中具有泛化能力，且可见性掩码提供了哪些环境方向可信、哪些为外推的原则性指示，从而支持重光照、AR 插入和场景理解等下游应用的知情使用。

致谢。本研究部分得到莱斯大学肯·肯尼迪研究所的支持。

参考文献

1. Basri, R., Jacobs, D.W.: Lambertian reflectance and linear subspaces. IEEE TPAMI 25(2), 218–233 (2003) 2. Blinn, J.F., Newell, M.E.: Texture and reflection in computer generated images. Communications of the ACM 19(10), 542–547 (1976)

第 16 页

16 Ahitagni Das , Ashok Veeraraghavan , and Vivek Boominathan

3. Chen, D., Li, H., Ye, W., Wang, Y., Xie, W., Zhai, S., Wang, N., Liu, H., Bao, H., Zhang, G.: Pgsr: Planar-based gaussian splatting for efficient and high-fidelity sur- face reconstruction. IEEE Transactions on Visualization and Computer Graphics (2025) 4. Dai, P., Xu, J., Xie, W., Liu, X., Wang, H., Xu, W.: High-quality surface recon- struction using gaussian surfels. In: SIGGRAPH (2024) 5. Debevec, P.: Rendering synthetic objects into real scenes: global illumination and hdr photography. In: SIGGRAPH. pp. 189–198 (1998) 6. Debevec, P., Hawkins, T., Tchou, C., Duiker, H.P., Sarokin, W., Sagar, M.: Ac- quiring the reflectance field of a human face. In: SIGGRAPH. pp. 145–156 (2000) 7. Gao, J., Gu, C., Lin, Y., Li, Z., Zhu, H., Cao, X., Zhang, L., Yao, Y.: Relightable 3d gaussians: Realistic point cloud relighting with brdf decomposition and ray tracing. In: ECCV (2024) 8. Gu, C., Wei, X., Zeng, Z., Yao, Y., Zhang, L.: Irgs: Inter-reflective gaussian splat- ting with 2d gaussian ray tracing. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2025) 9. Hadadan, S., Chen, S., Zwicker, M.: Neural radiosity. ACM Transactions on Graph- ics 40(6), 1–11 (2021) 10. Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S.: 2d gaussian splatting for geo- metrically accurate radiance fields. In: SIGGRAPH (2024) 11. Ikeuchi, K.: Determining surface orientations of specular surfaces by using the photometric stereo method. IEEE Transactions on Pattern Analysis and Machine Intelligence PAMI-3(6), 661–669 (1981) 12. Jensen, R., Dahl, A., Vogiatzis, G., Tola, E., Aanæs, H.: Large scale multi-view stereopsis evaluation. In: CVPR. pp. 406–413 (2014) 13. Ji, C., Li, Y., Liao, Y.: Reframe: Reflective surface real-time rendering for mobile devices. In: European Conference on Computer Vision (ECCV) (2024) 14. Jiang, Y., Tu, J., Liu, Y., Gao, X., Long, X., Wang, W., Ma, Y.: Gaussianshader: 3d gaussian splatting with shading functions for reflective surfaces. In: CVPR (2024) 15. Kautz, J., Sloan, P.P., Snyder, J.: Fast, arbitrary brdf shading for low-frequency lighting using spherical harmonics. In: Eurographics Workshop on Rendering. pp. 291–296 (2002) 16. Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G.: 3d gaussian splatting for real-time radiance field rendering. In: SIGGRAPH (2023) 17. Li, Z., Xu, Z., Ramamoorthi, R., Sunkavalli, K., Chandraker, M.: Learning to recon- struct shape and spatially-varying reflectance from a single image. In: SIGGRAPH Asia (2018) 18. Liang, R., Chen, H., Li, C., Chen, F., Panneer, S., Vijaykumar, N.: Envidr: Im- plicit differentiable renderer with neural environment lighting. In: ICCV. pp. 79–89 (2023) 19. Liang, Z., Zhang, Q., Feng, Y., Shan, Y., Jia, K.: Gs-ir: 3d gaussian splatting for inverse rendering. In: CVPR (2024) 20. Liu, Y., Wang, P., Lin, C., Long, X., Wang, J., Liu, L., Komura, T., Wang, W.: Nero: Neural geometry and brdf reconstruction of reflective objects from multiview images. In: ACM SIGGRAPH 2023 Conference Proceedings (2023) 21. Meng, J., Li, H., Wu, Y., Gao, Q., Yang, S., Zhang, J., Ma, S.: Mirror- 3dgs: Incorporating mirror reflections into 3d gaussian splatting. arXiv preprint arXiv:2404.01168 (2024) 22. Munkberg, J., et al.: Extracting triangular 3d models, materials, and lighting from images. In: CVPR (2022)

第 17 页

PanoLess：从部分反射视图重建环境 17

23. Oxholm, G., Nishino, K.: 基于自然光照的多视图形状与反射率。在：CVPR (2014) 24. Phongthawee, P., Chinchuthakun, W., Sinsunthithet, N., Jampani, V., Raj, A., Khungurn, P., Suwajanakorn, S.: Diffusionlight：通过绘制铬球免费获取光照探针。在：IEEE/CVF 计算机视觉与模式识别会议论文集 (CVPR) (2024) 25. Ramamoorthi, R., Hanrahan, P.: 逆渲染的信号处理框架。在：SIGGRAPH。第 117–128 页 (2001) 26. Sloan, P.P., Kautz, J., Snyder, J.: 动态低频光照环境下的预计算辐射传输实时渲染。在：SIGGRAPH。第 527–536 页 (2002) 27. Somanath, G., Kurz, D.: 用于实时增强现实的 HDR 环境贴图估计。在：CVPR (2021) 28. Szeliski, R.: 计算机视觉：算法与应用。Springer (2010) 29. Turkulainen, M., Ren, X., Melekhov, I., Seiskari, O., Rahtu, E., Kannala, J.: Dn-splatter：用于高斯泼溅和网格化的深度与法线先验。arXiv 预印本 arXiv:2403.17822 (2024) 30. Verbin, D., Hedman, P., Mildenhall, B., Zickler, T., Barron, J.T., Srinivasan, P.P.: Ref-nerf：神经辐射场的结构化视图依赖外观。在：CVPR。第 5481–5490 页 (2022) 31. Xiang, H., Li, X., Cheng, K., Lai, X., Zhang, W., Liao, Z., Zeng, L., Liu, X.: Gaussianroom：利用 SDF 引导和单目线索改进室内场景重建的 3D 高斯泼溅。在：IEEE 机器人与自动化国际会议 (ICRA) (2025) 32. Xie, T., Chen, X., Xu, Z., Xie, Y., Jin, Y., Shen, Y., Peng, S., Bao, H., Zhou, X.: Envgs：使用环境高斯建模视图依赖外观。在：IEEE/CVF 计算机视觉与模式识别会议论文集 (CVPR) (2025) 33. Yan, Y., 等：Street gaussians：使用高斯泼溅建模动态城市场景。在：ECCV (2024) 34. Yang, Z., Gao, X., Sun, Y., Huang, Y., Lyu, X., Zhou, W., Jiao, S., Qi, X., Jin, X.: Spec-gaussian：用于 3D 高斯泼溅的各向异性视图依赖外观。在：NeurIPS (2024) 35. Yao, Y., Zeng, Z., Gu, C., Zhu, X., Zhang, L.: Reflective gaussian splatting。在：国际学习表征会议 (ICLR) (2025) 36. Ye, K., Hou, Q., Zhou, K.: 具有延迟反射的 3D 高斯泼溅。在：SIGGRAPH (2024) 37. Yu, Z., Sattler, T., Geiger, A.: Gaussian opacity fields：无界场景中的高效自适应表面重建。ACM 图形学汇刊 (TOG) (2024) 38. Zhang, W., Tang, J., Zhang, W., Fang, Y., Liu, Y.S., Han, Z.: Materialrefgs：具有多视图一致材料推断的反射高斯泼溅。NeurIPS (2025) 39. Zhang, Y., Chen, A., Wan, Y., Song, Z., Yu, J., Luo, Y., Yang, W.: Ref-gs：2D 高斯泼溅的方向分解。在：CVPR (2025)

第 18 页

18 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

S1 Shiny Real 捕获细节

捕获流程。每个场景均通过手持视频进行记录，操作者围绕反射物体的一侧呈弧形行走。帧被下采样至 12 fps，通过拉普拉斯方差进行评分，并保留最清晰的 350 帧，同时受最大时间间隔约束以确保场景覆盖均匀。所有帧在输入 COLMAP 之前均进行中心裁剪并调整大小为 1200×1200 像素。COLMAP 使用 SIMPLE_RADIAL 相机模型运行，采用具有 30 帧重叠和二次扩展的序列特征匹配，随后进行标准束调整及图像去畸变。通过基于 SAM 的流程获取每帧分割掩码，以隔离反射表面，防止背景像素在训练期间污染反射损失。示例捕获如图 S1 所示。

图 S1: Shiny Real 数据集的示例捕获：反射雕塑（左）和停车场镜子（右）

物体尺度对捕获质量的影响。决定真实捕获质量的主导因素是操作者相对于反射表面的角大小。反射雕塑高达数米，因此操作者和手机在反射中占据的立体角可忽略不计。因此，宽幅手持弧线产生了条件良好的 COLMAP 轨迹，具有多样的反射方向，恢复的环境贴图忠实地捕捉了天空结构、云层和周围建筑轮廓。相比之下，停车场镜子较小：直接从正面拍摄会导致操作者的手和身体占据反射的主导地位，其非刚性运动违反了 COLMAP 的静态场景假设，从而破坏姿态估计。捕获必须改为从一侧以强掠射角进行，产生狭窄、不对称的轨迹，方向覆盖有限。这压缩了可观察反射方向的范围，将立方体贴图监督限制在狭窄的角度带内，并产生较低频率的环境贴图——同时表面法线和外观重建基本不受影响。这两个场景共同说明了一个明确的实用准则：当操作者相对于反射器较小时，PanoLess 表现最佳，从而实现宽基线捕获，而无需自遮挡或姿态退化。

第 19 页

PanoLess：从部分反射视图重建环境 19

S2 部分高光 Blender 数据集构建

Shiny Blender 数据集提供了六个具有混合镜面反射特性物体的密集 360◦ 相机覆盖，拍摄轨迹呈环形并在一处中心交叉点自我相交。由于全空间覆盖超出了我们目标问题的设定范围，我们通过仅保留该交叉点附近的相机来构建 Partial Shiny Blender。这一选择是刻意为之：交叉点是轨迹中唯一同时出现水平和垂直视角变化的区域，因此尽管仅覆盖全空间的前半球，它仍比简单的弧线产生更丰富的角度多样性。图 S2 展示了过滤后的相机分布。

图 S2：Partial Shiny Blender 的过滤相机轨迹。训练视图（橙色）和测试视图（绿色）集中在原始十字形路径的交叉点附近，在单个前半球内提供水平和垂直角度覆盖。高斯中心（COG）以紫色显示。

训练/测试重新划分。原始的训练/测试划分是为全覆盖训练设计的，不太适合部分视图场景：直接应用会导致训练集相对于评估任务严重欠采样。因此，我们将通过半球过滤的所有相机合并并随机重新划分，其中 40% 用于训练，60% 用于评估。我们报告了数据集中五个物体的结果，这些物体共同涵盖了广泛的镜面反射与漫反射比例。

S3 Partial Shiny Blender 定性结果

图 S3 和 S4 展示了所有 Partial Shiny Blender 场景恢复的环境贴图、表面法线和新视角渲染结果。 尽管在超出其主要设计场景的情况下运行，PanoLess 在大多数场景上恢复的环境贴图比所有基线更具结构性和空间一致性。汽车和头盔场景受益最大：镜面窗户和镀铬饰条提供了足够的高频反射信号以约束

第 20 页

20 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

图 S3：在 Partial Shiny Blender 上恢复的环境贴图。PanoLess 在所有场景中都能恢复出合理的粗略光照结构，尽管其保真度低于镜面 Shiny Partial 场景。正如下文所述，这是漫反射反照率显著时立方体贴图梯度信号较弱的直接后果。

即使在部分覆盖的情况下，立方体贴图也是如此。然而，对于漫反射物体，恢复的环境贴图明显比 Shiny Partial 更暗且频率更低。这是我们合成模型中单位反射率假设的系统性后果：当漫反射反照率显著时，高斯表示将表面外观吸收进漫反射通道，将光度梯度从立方体贴图中分流，从而减少了其接收到的有效监督。由于该数据集缺乏真实环境贴图，比较仍为定性分析，但该模式一致且符合预期。PanoLess 专为镜面表面设计；混合镜面反射物体上环境贴图保真度的降低反映了这一设计选择，而非方法的根本局限。

图 S4：Partial Shiny Blender 上的新视角渲染和表面法线。尽管混合镜面反射材料超出了我们的主要设计范围，PanoLess 在所有场景中仍能生成几何准确的表面法线和具有竞争力的新视角渲染。

第 21 页

PanoLess: 从部分反射视图重建环境 21

S4 可见性引导的后处理

可见性图 $V$ 可以清理未观测到的环境方向。使用 Otsu 方法对 $V$ 进行阈值处理，将观测到的方向与缺乏支持的方向分离开来；对低置信度方向应用羽化高斯模糊，可以平滑光度损失在不受约束的纹理单元中留下的噪声，同时保持观测区域不受影响。在 Cola 数据集上，这提升了所有环境贴图指标（表 S1）。

表 S1：可见性引导的后处理。Otsu 阈值化的可见性模糊提升了 Cola 上所有环境贴图指标。最佳结果已高亮显示。

Cola 环境贴图 PSNR ↑ SSIM ↑ LPIPS ↓ L1 ↓

原始 15.32 0.678 0.469 0.132 + 可见性模糊 15.60 0.710 0.459 0.128

图 S5：可见性识别低置信度区域。左图：恢复的环境贴图上的 Otsu 阈值化可见性掩码（条纹）。右图：对低置信度方向进行羽化高斯模糊后的同一贴图。

S5 位姿抖动敏感性

我们在 Vase 数据集上量化 PanoLess 对相机位姿误差的敏感性。每个训练相机旋转均受到固定随机角度 $\sigma$ 的扰动，并重新训练模型，将恢复的环境贴图与未更改的真实值（单个种子）进行评估。固定 $\sigma$ 的扫描限制了每相机的性能下降，并隔离了主论文公式 (6) 所预测的线性依赖关系。环境贴图 PSNR 急剧下降——从 $\sigma=0^\circ$ 时的 18.4 dB 降至 $\sigma=0.5^\circ$ 时的 12.0 dB——随后趋于平稳。由于缺乏粗糙度来模糊方向误差，即使是亚度级的位姿噪声也会误导反射查询并破坏恢复的照明。

第 22 页

22 Ahitagni Das, Ashok Veeraraghavan, 和 Vivek Boominathan

表 S2：Vase 上的姿态抖动敏感性。恢复的环境贴图质量与未改变的ground truth相比，在每次训练相机旋转被固定角度 σ 扰动时（单个种子）。最佳值高亮显示。

σ (度) PSNR ↑ SSIM ↑ LPIPS ↓ L1 ↓

0.0 18.41 0.637 0.490 0.083 0.5 12.04 0.341 0.599 0.218 1.0 11.71 0.319 0.616 0.224

图 S6：Vase 上的姿态抖动敏感性。恢复的环境贴图，其中训练相机旋转被扰动 σ ∈{0◦, 0.5◦, 1◦}。即使亚度的姿态误差也会明显降低恢复的照明质量。