FactorSplat：外观可控的医学体渲染高斯代理

快速导读：FactorSplat用局部传递函数查找加低秩残差，让一份高斯检查点在推理时接受分区强度曲线，而无需按预设重训。

医学体渲染里，传递函数（transfer function）决定组织颜色、透明度和谁被挡住。换一条强度到颜色曲线，同一套CT或MR可以高亮某段血管，也可以把相邻组织换成别的色。问题是：按电影级体绘制图像训练出来的高斯代理，常常把某一种外观烤进球谐系数和不透明度。再换预设，就要重训或换一份检查点；在不透明预设上训练，还可能根本没有为后来才该露出的结构分配图元。

FactorSplat（arXiv:2610.02382，United Imaging Intelligence）给每套扫描学一份N维高斯溅射（N-DGS）代理：几何和方向外观共享，推理时接受分区的强度到RGBA曲线。局部物理查找套上作者写的颜色与不透明度差分，共享编码器加每高斯低秩因子再学电影渲染器的残差。七套CT/MR上，一份检查点即可渲染未见编辑，相对区域感知VEG的平均PSNR增益约1.10–1.52 dB。项目页https://gaozhongpai.github.io/FactorSplat/

必须先说清楚：这是研究可视化方法，在渲染图像上评估，不是临床产品，也不是经临床验证的诊断系统。近似误差和传递函数编辑会改变解剖可见性，不能外推为临床可用。临床使用需要针对任务的验证、专家监督，并回到原始扫描。

这篇论文解决什么问题？

图1用同一套血管扫描的两种未见编辑把问题钉死：上行高亮选定组织，下行改组织颜色。FactorSplat全帧PSNR为32.29 dB和32.35 dB，对照参考几乎同色同形；VEG在高亮上掉到25.19 dB，器官发绿、局部结构糊掉。换外观不该等于换模型。

相关工作里，Niedermayr等和Render-FM证明电影级解剖可以压成实时高斯，但外观固定。iVR-GS按互不重叠的强度区间训可编辑基本模型再组合，代价随模型数涨。VEG把标量而不是烤好的颜色存在高斯里，推理时直接套一维颜色与不透明度，并配发射–吸收加Blinn–Phong。FactorSplat面对的是分区曲线和电影级路径追踪监督，需要函数值输入、空间异质响应，以及训练时保住所有预设可能露出的覆盖。

因此方法要同时做到三件事：新采样曲线不必分配新参数；同一编辑按高斯覆盖的区域曲线和强度起不同作用；几何对传递函数保持不变，因为改的是光学外观而不是解剖。

核心创新

• 把分区强度到RGBA曲线写成推理时函数输入，共享几何、无需按预设重拟合。
• 物理查找锚定作者编辑，低秩残差修正电影渲染器的图像域响应，二者只改直流颜色与不透明度。
• 解析可见性门与按训练库最大不透明度剪枝，保住不同预设需要露出的结构。

方法概览

每场景一份N-DGS代理：中心、协方差与方向球谐共享。每个高斯在至多27个局部体素上读区域–强度描述子。物理查找把当前预设相对基线T0的未预乘RGBA差分按权重平均，直接改直流颜色与不透明度。共享无偏置点式MLP把同一差分编成秩r=8的局部码，再经每高斯低秩因子得到残差；仅当作者改了alpha才打开不透明度残差。解析可见性门在被移除材料质量过半时把不透明度置零。训练覆盖分割并集的中性网格，用混合预设的L1+SSIM（λs=0.2）优化；按训练库中最大不透明度做覆盖感知剪枝。推理时传递函数切换只缓存一次外观，相机运动复用光栅化。

• 骨干是不透明度版N-DGS：中心、协方差在传递函数之间共享，方向球谐也不随预设改。预设T给每个分割区域一条强度到RGBA曲线，导出到公共网格后得到RT。指定作者预设T0为基线，条件化量是相对T0的差分，从而在T0上外观恒等。
• 每个高斯在初始化时从33个体素窗口里取至多K=27个有效样本，得到区域通道m和64档强度箱b，权重按初始椭球密度归一。物理查找把未预乘RGBA差分按这些权重平均，得到局部颜色与alpha偏移。学习支路用无偏置点式MLP把同一差分编成秩r=8的码，再经每高斯颜色因子与不透明度因子得到直流残差；只有作者改了alpha，不透明度残差才打开。两支都只改直流颜色与不透明度，方向球谐保持与传递函数无关。
• 解析可见性门读取渲染器的区域可见性标志：相对T0被关掉的材料质量达到一半，就把该高斯不透明度置零。训练在覆盖分割并集（含T0下透明的结构）的中性网格上初始化，用混合预设的L1+0.2 SSIM；剪枝分数改成训练库里各预设条件化不透明度的最大值，避免只在某一预设透明的图元被删掉。推理时传递函数切换计算一次并缓存球谐与不透明度，相机运动走原来的光栅化。

逐图理解论文

外观被烤死

图1是问题总览，宜作开场。三列FactorSplat / Reference / VEG，两行同一套血管扫描的未见传递函数：上行Highlight selected tissue，下行Change tissue colors。FactorSplat高亮PSNR 32.29 dB、改色32.35 dB，器官红绿青层次与参考接近；VEG高亮25.19 dB，器官偏绿、局部糊，改色30.84 dB仍可见色差。这是研究可视化对比，不是临床读片。

查找加残差

图2是方法总览，宜作特色图。左栏Inputs：CT heart与MR hand加分割，以及Base/Composition/Clinical edit三条作者曲线；Clinical edit只是曲线标签。中栏Local conditioning：高斯足迹上至多27个区域–强度样本，绿框物理查找di(T)，紫框函数残差zi,T，二者更新直流颜色与不透明度，底层共享N-DGS几何与方向球谐。右栏同一检查点加同一相机：紫色Base T0、黄色未见组合、绿色带上下文的留出编辑，强调换预设不重训。

关键证据

图3下半是留出CT/MR例子，列为恒等底板、专家、VEG、FactorSplat（蓝框）。OOD-F血管：22.58/31.36/29.79/30.94 dB，专家略高。OOD-C血管高亮：29.42/31.72/25.19/32.29 dB，与图1上行一致。鼻部组合：31.20/26.23/26.22/35.01 dB。手部OOD-C：43.91/45.98/33.40/47.21 dB，VEG把皮肤染绿。全帧PSNR，粗体为该行最好。本裁切不含心脏前三行。

实验如何设计？

• 数据：五套CT（heart、vascular、intestine、lower、kneejoint）和两套MR（nose、hand），每套3–17条区域曲线。41个条件拆成24训练、4验证、4插值、4未见组合、5 OOD。OOD含灰度与不透明度锐化（OOD-F）以及隔离目标、压制遮挡、半透明上下文强调（OOD-C）。插值在训练范围内改，组合把单独见过的操作拼起来。全部按扫描拟合，不测新扫描。
• 监督图像是原体积与分割的电影级路径追踪，1600²，相机、光照与采样在传递函数之间对齐。训练预设各48视角（12共享锚点+36预设专用），所有预设共享40个留出相机。各方法3万次迭代。FactorSplat秩8、隐层64，并用Mip-Splatting三维滤波。VEG用官方实现，把标量查找扩成每高斯固定区域以选对应曲线。
• 指标：全帧PSNR看重建；改变区域ΔTF看相对T0的外观变化是否跟得上参考（像素∞范数>0.04定义为改变区）。未条件化代理的ΔTF等于参考编辑幅度，即恒等底板。N-DGS专家按单个目标传递函数的48视角另训，是预设专用参照而不是质量上界。

关键结果与论文证据

• 重建和编辑保真整体更好，但仍是渲染指标。Table 1按模态等权平均：相对浮点VEG，七扫描在验证/插值/组合/OOD上的平均PSNR增益为1.45/1.52/1.10/1.41 dB，28组比较中24组PSNR更高；改变区域误差在19组更低，且CT、MR每个分割的均值都更低。CT验证PSNR为33.08对VEG的31.80；MR验证40.68对38.82。这些数字衡量的是对电影级渲染图的拟合，不是诊断正确率。
• 图3留出例子把差异看清。血管OOD-C高亮上FactorSplat 32.29 dB、VEG 25.19 dB，与图1上行同一设置。鼻部组合编辑FactorSplat 35.01 dB，专家只有26.23 dB。手部OOD-C上FactorSplat 47.21 dB，VEG把皮肤染成绿色（33.40 dB）。功能压力OOD-F上专家31.36 dB仍略高于FactorSplat的30.94 dB，符合正文：专家对OOD仍有5.2 dB平均优势，直接拟合目标传递函数仍有价值。heart上FactorSplat的PSNR更高，但VEG的改变区域误差更好，两条指标不是一回事。
• 消融支持混合外观。去掉学习残差，heart与vascular的八列PSNR全降；去掉物理查找损失更大，组合上掉2.57与2.65 dB。用最近训练预设嵌入代替函数码，在邻近血管编辑上还能打，heart/vascular OOD分别掉1.02与2.84 dB。拆掉解析门时验证和插值几乎不动，OOD PSNR掉0.32与0.52 dB，对材料移除更有用。
• 算力上，B200、1600²缓存快渲染平均524 FPS，VEG约144 FPS；传递函数切换平均1.17 ms，之后相机运动不再重算外观。30k迭代平均训练9.8分钟/扫描，对VEG的43.8分钟。17个评估预设若各训一名专家，合计约88.1分钟。一份检查点换多种外观，避免按预设重复优化。

阅读时需要注意

• FactorSplat不是临床产品。论文伦理声明写明：它在渲染的CT/MR图像上评估，不是经临床验证的诊断系统。近似误差和传递函数编辑会改变解剖可见性。不得把PSNR或实时帧率外推为临床可用。若设想临床使用，需要针对具体任务的验证、专家监督，并始终能访问原始扫描；医学体积、掩膜和派生结果仍受来源许可与隐私约束。
• 方法局限：局部码看不到支撑外编辑带来的全局光照；描述子绑定在初始化中心上，几何优化后可能错位；可见性门整颗高斯开关，不是体素级裁剪。每扫描单独训练，前馈生成仍是后续。OOD新操作难于插值，专家和VEG在部分heart、kneejoint分割上仍更好。
• 图1与图3为挑选的留出视角；七套扫描不能代表全部协议与设备。预印本，未同行评审。图2中的Clinical edit是作者对解剖定向曲线的标签，不表示已进入临床流程。

关联工作

• 多维传递函数、可微体绘制和语义/文本选映射，都在帮助用户写曲线；FactorSplat不设计曲线，而是用紧凑代理复现已写曲线的渲染。ViSNeRF等图像生成或辐射场插值没有可光栅化的显式图元。
• VEG是最接近的传递函数无关高斯：标量查找加经典着色。本文把查找接到分区曲线，并加电影级残差。GS-Surrogate、ParticleGS条件化的是低维可视化参数，不是函数值分区曲线。
• 讨论提出：训练库应覆盖不同外观操作并暴露被影响的材料，而不是只堆视觉相似的预设。与Render-FM结合、前馈预测共享几何和条件因子，有望降低按扫描构建成本，但仍不构成临床系统。