PhysForge：可分离部件的材质可控三维重建

快速导读：PhysForge 用材质条件视频做窗口化物理拟合，并把物体拆成可独立估参、再组合仿真的语义部件。

把一张静图变成可仿真的三维资产，缺的往往不是更像的外观，而是材料在碰撞、接触和形变里会怎么动。现有方法多用视觉语言模型从外观猜密度、弹性模量，结果被训练数据里的外观–材质相关绑死：同一只草莓很难被指定成木头、硅胶或织物并得到不同响应；椅子、杯盖这类组合体也常被当成一块刚体。南京大学、Horizon Robotic 与深圳大学的 PhysForge（arXiv:2610.13681）用视频扩散模型生成材质条件动态，再把物理拟合限制在真正揭示材料的时间窗，同时把物体拆成可独立估参的语义部件。项目页为 https://masterwanna.github.io/PhysForge.html 。

框架分成 PHYSFIT 与 PHYSCOMP。前者做窗口化拟合，并用 Hallucinated Forcing 把扩散模型编造的异常加减速从材料响应里分开；后者用 SAM3、P3-SAM 与位姿估计得到部件级 3DGS，再按相对运动组成仿真体，接入物质点法或刚体求解器。在 PhysAssets 与 Google Scanned Objects 上，常见与罕见材质的 CLIP 与物理可控性都高于六个对照，用户研究胜率百分之六十点五六。预印本标注 Under review，尚未按已接收结论使用。

这篇论文解决什么问题？

可交互三维资产需要两件事同时成立。第一，用户指定的材料要能改动力学，而不是只改贴图。外观回归只能给出训练分布里常见的那套参数，遇到“把苹果当成硅胶凝胶”这类少见请求就会塌成几乎相同的运动。第二，材料证据经常藏在部件交互里：面包从烤面包机弹出、瓶与杯分开落地、盖与壶相对滑动。若把整件物体当成单一仿真体，相对运动被抑制，拟合到的参数也无法对应到部件。

视频生成能提供动态先验，但也带来新噪声。扩散序列里常有视觉上合理、力学上不可能的加速或减速。若把整段视频当作监督，这些幻觉力会被写进杨氏模量或摩擦。PhysForge 的问题因此是：怎样用材质条件视频当参考，同时只拟合接触、碰撞、形变这些信息区间，并把语义部件保持可拆、可组合。

核心创新

• 用材质条件视频扩散当拟合参考，而不是只从外观回归物理参数。
• 窗口化拟合加上幻觉力分离，避免把非物理运动写进材料参数。
• 按语义部件独立估参，再按相对运动组成仿真体，保留可拆开的交互。

方法概览

外观用 3DGS，每个高斯带物体与部件标识。可变形体用物质点法（MPM）在粒子与网格间传递质量动量；刚体另用摩擦与恢复系数。PHYSFIT：预训练视频扩散（Wan）按材质提示生成序列，视觉语言模型评估并 refinement。在掩码相交处检测接触，窗口从接近段最后一个不相交帧开始，到静止或接触结束；只在这些揭示材料的区间拟合。参考运动由 SAM3 掩码与 Depth Anything 深度跟踪中心轨迹，把无法用物理参数解释的异常加减速记为 Hallucinated Forcing，用来复现生成轨迹，但不把它当成材料响应。PHYSCOMP：视觉语言 Agent 列出物体与部件，SAM3 传播掩码，SAM3D 或 TRELLIS 等重建 3DGS，P3-SAM 做三维部件分割，FoundationPose 恢复位姿尺度并放入共享坐标系。按附着与相对运动组成仿真体 Bb=(Gb, πb, qb)，高斯转成表面与内部粒子。窗口内用物理调节损失拟合形变响应、接触时长并惩罚穿透，再用视觉语言模型初值做弱正则。实现用 Taichi MPM 与刚体求解器，弹性用杨氏模量与泊松比，沙土加内摩擦角，液体用弱可压缩体积模量。

• 外观表示是 3D 高斯，每个基元除中心、协方差、透明度、颜色外，还存物体编号与语义部件编号。可变形体用物质点法：粒子携带位置、速度、质量与变形梯度，经粒子到网格传递后在格点上算材料力、外力与接触，再插值回粒子并更新变形梯度。刚体保持形状，用接触摩擦控制滑动、恢复系数控制反弹。
• PHYSFIT 先按用户材料提示调用预训练视频扩散（文中为 Wan），视觉语言模型给生成结果打分并 refinement。随后在视频里找“材料被看见”的窗口：把场景边界也当成部件，用掩码是否相交定义接触指示。接触开始于指示从 0 变 1；窗口起点取接近段中最后一个掩码不相交且相对中心仍在靠近的帧，以保留入射状态；终点取物体静止或接触指示回到 0。只有这些窗口里的仿真体集合拿去拟合。参考轨迹由 SAM3 掩码与深度估计跟踪部件中心，由帧间隔得到视在加速度。作者把无法用当前物理参数解释的异常加减速叫做 Hallucinated Forcing：用它复现生成视频的轨迹，但不让它驱动材料参数更新。
• PHYSCOMP 负责身份与几何。视觉语言 Agent 从生成帧列出物体与部件清单；SAM3 跨帧跨视角传播掩码，保持重复或附着部件的身份；掩码视图经 SAM3D、TRELLIS 等后端变成 3DGS；Depth Anything 提供深度与尺度；P3-SAM 把重建几何切成语义区域并转到高斯；FoundationPose 把带标签表示放回共享场景坐标。仿真体写成 (高斯子集, 材料–参数对, 动态状态)。按附着关系与相对运动决定哪些部件锁在同一刚体/连续体、哪些保持可分，再把高斯转成表面与内部粒子。
• 每个窗口的损失有两项。物理调节项比较观测与仿真的形变响应，并约束接触时长、惩罚穿透；正则项把参数拉向视觉语言模型给出的初值，权重很低，避免观测不足时乱跳，同时允许碰撞证据推翻先验。实现上在两张 RTX 4090 上跑 Taichi 求解器，MPM 视频 150 帧、30 FPS、每帧最多 8 个子步。弹性用杨氏模量与泊松比，沙土加 Drucker–Prager 内摩擦角，液体用弱可压缩体积模量。附录补充：网格每轴 100–300 格，拟合最多 20 轮，先验权重 0.01，地面恢复系数 0.5、库仑摩擦 0.2。

逐图理解论文

外观不够

图1用示意说明两项能力。左栏 a) Material Controllability：草莓在 Wood、Silicone、Fabric 下形变不同，木头更结实、织物更扁；椅子在 Metal 保持结构、Plastic 微弯、Rubber 塌成软堆。右栏 b) Separable Components：白色小桌上立着酒瓶与高脚杯，绿箭头之后瓶子掉到地上、桌子仍在原处，说明瓶与桌没有焊成一块。这是概念图不是定量评测，定量看 Table 1 与图3、图4。

窗口拟合

图2是方法总览，宜作特色图。左侧 INPUT 为黄衣玩偶静图，提示写 A rigid plastic toy / a soft fabric doll falls freely。上支 PhysComp：VLM 与 SAM3 指向 FoundationPose 与 P3-SAM，得到按部件着色的 Component-level 3DGS（黄衣与品红身体），再进入含 MPM Solver 与 Rigid Solver 的部件级仿真器。公式把仿真体写成高斯、参数与状态的并。下支 PhysFit：VDM 经 VLM Refine 生成材质条件序列，Window Selection 从全片里抽出碰撞、交互、形变窗；绿色 Fitting Window 只拟合这些帧，橙色 Hallucinated Forcing 标窗外异常加减速曲线。右侧 OUTPUT 是仍可分开的三维资产，JSON 含 mat、E、ν 等字段，并标 material controllable 与 component separable。裁切顶部有 Under review 页眉。

部件可分

图4对照部件能否分开运动。三列提示分别为烤面包机加两片面包自由落体、枕头与豆袋落在圆垫上、条纹球落在蓝垫上，每列 t1 到 t4。Ours 在烤面包机序列里面包弹出、机体不跟着扭曲；枕头与豆袋错开而不是熔成一块；球与垫接触后分开弹起。PhysGM 把枕头摊成沙状堆；PSIVG 外观崩坏，球垫列出现额外蓝色团块；PhysRVG 有相对运动但有时多出部件。正文指出基线常把组合体当单一刚体，从而丢掉相对运动。

关键证据

图3对照指定材质下的动态。裁切顶部带进 Table 1，可见 PHYSFORGE 加粗为 0.258 / 4.6 / 0.264 / 4.0，讲网格时不要把表头当图像。六列从左到右：Hardwood Apple、Silicone Gel Apple、Rigid Plastic 裤子、Rubber 裤子、Rigid Plastic 三脚架、Silicone Rubber 三脚架；七行 DreamPhysics 到 Ours，每列两个时刻 t1、t2。Ours 行硬木苹果几乎保持球形，硅胶苹果明显压扁且表皮颜色稳定；刚性裤子仍接近直立，橡胶裤子弯折贴地；刚性三脚架站稳，硅胶三脚架腿软塌。对照常见两类错误：不同材料列运动几乎一样，或形变时外观也变（PSIVG 硅胶苹果发黄并渗出红色）。

实验如何设计？

• 数据用 PhysAssets（逾 2.4 万带物理标注与引导视频的资产）与 Google Scanned Objects（逾 1 千家用扫描）。对照六个：DreamPhysics 用 SDS 与 MPM 从视频扩散学材料；PhysGM 从多视图联合预测高斯与物理；PSIVG 用仿真轨迹引导再生成；DeforM 用视觉语言推理和时空掩码盯形变区；PhysRVG 用物理感知强化学习改碰撞；WMReward 用潜世界模型在推理时打分并选择去噪轨迹。
• CLIP 用 ViT-L/14 编码提示与采样帧，报平均余弦相似度。物理可控性由视觉语言模型按五分制看运动、接触、形变是否表达指定材料。用户研究每次展示七段匿名视频加提示与输入图，按“是否符合指定材料且动态合理”排序。消融一是去掉 PHYSFIT、对整段视频拟合；二是去掉 PHYSCOMP、把语义不同的部件并成一个仿真体。

关键结果与论文证据

• Table 1 上 PhysForge 四项全高：常见材质 CLIP 0.258、可控性 4.6；罕见材质 CLIP 0.264、可控性 4.0。平均可控性 4.3、平均 CLIP 0.261，分别高于最强基线的 3.8 与 0.249。WMReward、DeforM 在常见材质上可控性也到 4.4，但罕见材质掉到 2.6 与 3.2，说明外观或常见先验一旦离开训练分布就很难跟住用户指定。图3 与此对应：硬木苹果在 Ours 上几乎不扁，硅胶凝胶苹果明显压扁且外观不变；刚性裤子保持直立，橡胶裤子弯倒；刚性三脚架站稳，硅胶橡胶三脚架软塌。对照行常出现两种失败——不同材料列看起来差不多，或形变时连外观一起变（例如 PSIVG 的硅胶苹果发黄、渗红）。
• 图4 看部件分离。提示分别是烤面包机加两片面包自由落体、枕头与豆袋落在圆垫上、条纹球落在蓝垫上。Ours 在烤面包机序列里让面包弹出而机体保持；枕头与豆袋错开相对运动；球与垫分开弹跳。PhysGM 把枕头摊成沙状；PSIVG 外观崩并出现额外色块；PhysRVG 有时能做出相对运动却多出部件。用户研究 Table 2：PhysForge 胜率 60.56%、平均排名 1.9056，远高于次强 WMReward 的 12.22% / 3.5444。
• 图5 消融：去掉 PHYSFIT 后损失曲线更难收敛，因为优化要在整段里自己找该拟合的帧；去掉 PHYSCOMP 后桌、瓶、杯被锁成一体，该碰撞晃动的相对运动消失。附录图 6–11 把同一物体换成树脂、织物、铝、橡胶等提示，并展示液体与沙土；图12 补充杯碟、锅盖、两本书的相对运动。这些定性结果应到项目页看视频，静态图只截了 t1–t4。

阅读时需要注意

• 结论节写明：换一种材质条件就要再生成视频并再拟合，做不到一次重建后瞬时改材料。系统效果仍取决于生成视频是否真的演了物理，幻觉力分离只能减轻而不能取消这一依赖。PHYSCOMP 的分割来自生成视频的动态与语义，分割错了会直接变成错误仿真体。
• 物理可控性是视觉语言模型五分制，CLIP 是提示–帧相似度，都不是实验室测得的弹性模量或摩擦系数。用户研究是排序偏好。预印本 Under review。附录里的摩擦、恢复系数是实现设定，不宜当成对真实世界的标定。

关联工作

• 观测驱动的物理估计包括 GaussianProperty 的分割加多模态推理、PhysGM 的联合几何–参数预测，以及 PAC-NeRF、Spring-Gaus 把神经重建接到连续体或弹簧。视频先验一线包括 MotionCraft、PhysGen、PhyT2V 的生成侧约束，以及 PhysDreamer、DreamPhysics、Physics3D、PhyMAGIC 的拟合与蒸馏。PhysForge 与它们的差别是：监督被限制在接触窗口，并且显式命名幻觉力。
• 部件重建有 PartField、P3-SAM、PartCrafter、PartGen，但几何切开不等于物理切开。PhysGaussian、PhysTwin、OmniPhysGS、DecoupledGaussian 把外观接到力学或把物体从接触表面解开。PHYSCOMP 进一步按相对运动决定仿真分组，让看起来连在一起、语义上分开的部件可以各自碰撞。
• 仿真后端是 Taichi 上的 MPM 与刚体求解器，材料模型覆盖弹性、沙土与弱可压缩液体。这决定了可控的是这些本构参数，而不是任意本构。