拟合线索

ElasticFit：用视觉语言推理与生成式适配做贴合场景的三维插入

作者

快速导读：ElasticFit 把语言指令落到场景拟合线索上，再生成并按刚性、均匀或弹性模式把物体贴进已有三维场景。

往已经摆满家具的房间里再放一样东西，关键往往不是“放在附近”，而是它能不能贴进局部空间：靠墙的脏衣篮要挤进窄缝、电视柜里的书要平行填满空档、沙发上的泰迪熊还要前倾并朝向椅子。ElasticFit（arXiv:2610.07460，Delft University of Technology）把这类任务写成贴合式三维插入：语言指令不但指定放哪里，还决定占用多大体积、朝哪、以及物体要不要刚性摆放、均匀缩放或弹性变形。项目页为 https://celine-hsieh.github.io/elasticfit/ 。首页印有 NeurIPS 2026，本文按预印本解读。

方法分三步。视觉语言模型先从当前用户视角推出结构化拟合线索；再按幽灵盒比例生成场景条件物体先验并抬到三维；最后按模式做几何拟合，并用短时刚体仿真让物体落稳。固定资产对照里，空间关系成功率从最强基线的 50.8% 升到 69.7%，支撑成功率从 48.3% 升到 91.7%。完整生成适配另在 Fit-Critical Set 上评测。预印本尚未按相机就绪稿核验。

英文题目：ElasticFit: Fit-Aware 3D Object Insertion via VLM Reasoning and Generative Adaptation

论文出处：arXiv 每日论文精选 · arXiv:2610.07460

原始论文：PDF / 论文页面

这篇论文解决什么问题？

插入已有三维场景是增强现实、自动室内设计和具身智能的基础能力。它和单独生成物体、或从空白生成整屋布局都不同：环境已经被占用，新物体必须同时满足语言意图、局部几何和物理可行性，包括自由空间、支撑面、接触与碰撞。

现有视觉语言模型布局方法多能推断类别和粗略放置区，但成功插入常常要求物体本身去适应当地几何。FirePlace 把多模态推理落到细粒度几何上，PLACEIT3D、ScanEdit、EditRoom 做语言引导放置或编辑，它们通常把插入资产视为固定，只优化变换或重排。LayoutGPT、Holodeck、LayoutVLM 则主要在包围盒和符号约束上规划。杂乱或空间受限的场景里，只调姿态或做全局缩放往往不够。

核心创新

  • 把已有场景中的物体插入写成贴合式适配，同时考虑语义意图、局部几何相容和物体形状变化。
  • 用结构化拟合线索 G 把视觉语言模型的高层推理变成显式三维约束，驱动生成与刚性、均匀或弹性拟合。
  • 在常见放置与贴合关键两套任务上评测，固定资产对照里空间关系与支撑成功率明显高于布局基线。

方法概览

输入已有场景 S 与自然语言指令 L。Stage 1 从用户当前视角渲染，用每像素三维坐标 XYZ 缓冲和语义实例 ID 缓冲构造 Set-of-Mark 图，查询视觉语言模型得到锚点、目标像素、支撑物体、朝向线索与适配标签；校验目标像素落在支撑物体上后，映射出三维支撑点 psurf，并构造幽灵盒作为最大可贴合体积。结构化线索 G 含支撑点、幽灵盒中心与尺寸、偏航俯仰、适配模式 mdef、尺度向量 s 与物体描述 tobj。刚性 s=(1,1,1)，均匀 s=(α,α,α)，弹性 s=(sx,sy,sz)。Stage 2 按幽灵盒宽高比用 SDXL 风格文生图得到场景条件二维先验，再用 TRELLIS 抬到网格 O0。Stage 3 按模式做几何拟合：刚性保形并做粗到细碰撞与支撑搜索；均匀优化单一尺度；弹性沿盒局部轴各向异性缩放并惩罚碰撞。最后在 PyBullet 里做短时刚体沉降，再做保守支撑修正得到 O*。

  • Stage 1 做语义-空间落地。系统从用户看到的同一视角渲染场景，结合数据集提供的语义实例标注，构造每像素三维坐标的 XYZ 缓冲和可见实例编号的 ID 缓冲，并生成叠加物体编号的 Set-of-Mark 图。视觉语言模型同时看无标注渲染、SoM 图和指令，输出结构化 JSON：锚点物体、目标像素与支撑物体、可选的 look_at / top 朝向、吸附行为，以及自适应生成时的物体描述、规范尺度和适配标签。若预测像素不在指定支撑物体上，就改到该物体上最近的可见像素，再经 XYZ 缓冲得到三维支撑点。
  • 朝向由可选像素线索和姿态先验得到世界坐标偏航与俯仰，滚转在直立假设下固定为零。支撑点、预测尺寸和朝向共同构成三维幽灵盒：它不是紧包围盒，而是估计的最大可贴合体积，底面中心落在支撑点上。输出 G = {psurf, cbox, bbox, R(θyaw, θpitch), mdef, s, tobj}。刚性模式 s=(1,1,1)，均匀模式 s=(α,α,α)，弹性模式 s=(sx,sy,sz)。
  • Stage 2 先按幽灵盒局部宽高比 bx:bz 设定文生图画布，用 SDXL 风格生成器按物体提示 tobj 画出场景条件二维先验，再用 TRELLIS 把图像抬成网格 O0。这样先验已经偏向目标区域的宽高关系，减轻后续物理适配负担。实现上采用前馈生成而非优化式三维合成。
  • Stage 3 按 mdef 做模式化几何拟合。刚性模式用于比例不该改的物体，先用代理盒粗过滤碰撞，再在网格级细化碰撞与支撑。均匀模式联合优化单一尺度与平移，在碰撞惩罚、盒约束、支撑/重力项和尽量放大之间折中。弹性模式沿盒局部轴各向异性缩放到幽灵盒尺寸，并用邻近场景采样惩罚碰撞、保持支撑。拟合后再在 PyBullet 中把场景当静态凹三角网格、物体当动态刚体，从略抬起的无穿透姿态做短时沉降，最后按向上支撑点做保守修正，得到稳定插入 O*。

逐图理解论文

拟合线索

拟合线索
Figure 2: Overview of ElasticFit. Given a user instruction L and an existing 3D scene S, ElasticFit infers structured fitting cues G that encode the target region, orientation, constraints, and adaptation behavior. Stage 1 performs semantic-spatial grounding, Stage 2 generates a scene-conditioned object prior O0. Stage 3 refines it through geometry- and physics-aware fitting with rigid, uniform, or elastic adaptation. The result is a stable final insertion O∗.

图2是方法总览，宜作特色图。最左输入指令 Place a teddy bear leaning on the sofa. 与场景 S 的两张渲染。蓝色 Stage 1 Semantic-Spatial Grounding：上为带彩色实例标记的 Semantic-Spatial Reasoning，下为沙发上带坐标轴幽灵盒的 Structured Fitting Cues G。橙色 Stage 2：上为标了 W/H 的棕色泰迪二维先验，下为 2D-to-3D Lifting 得到的网格 O0。绿色 Stage 3：上排图标区分 Rigid 方形不变、Uniform 缩成小方、Elastic 拉成长方，下为 Physics-Guided Settling 得到 O*。最右输出沙发特写与虚线框全景，泰迪已前倾靠在靠垫旁。

生成与精修

生成与精修
Figure 3: Visualization of the three adaptation modes in Stage 3. Each row shows the target ghost box, generated initial object, and fitted result. Rigid mode preserves geometry, uniform mode applies isotropic scaling, and elastic mode applies anisotropic deformation to fit the target region.

图3把 Stage 3 三种模式按行展开，列分别是 Target Ghost Box、Generated Object Prior、Fitted Result。Rigid：幽灵盒靠近垃圾桶与层架，先验是红纹马克杯，结果保形落在地面并画出红绿蓝坐标框。Uniform：茶几上有较小幽灵盒，先验是花瓶插花，结果各向同性缩放到茶几中央。Elastic：墙与沙发间的扁长幽灵盒，先验是比例正常的木柜，结果被拉宽填进缝隙。左侧图标与正文一致：刚性保几何，均匀做各向同性缩放，弹性做各向异性形变。

关键证据

关键证据
Figure 4: Qualitative comparison on representative Common Placement Set tasks. Baselines often struggle with physical refinement, ambiguous references, viewpoint-dependent relations, or irregular support geometry. ElasticFit produces more spatially and physically plausible placements.

图4是 Common Placement Set 的定性对照，五行任务、四列方法。指令依次为：沙发靠枕旁朝椅放泰迪熊；层板靠盘子放植物；台面盒子右侧放咖啡机（图内拼写为 mechine）；层板靠垃圾桶、朝向厨柜台面放玩具车；地毯上平行沙发放自行车。行顺序为 LayoutGPT、Holodeck、LayoutVLM、ElasticFit。Holodeck 的植物例用红字标 The plant is placed out of view。玩具车列用红虚线/实线框标层板位置，基线常偏层或悬空，ElasticFit 更贴目标格。自行车列里 Holodeck 车体很大且压进沙发区域，ElasticFit 把车放在地毯上并与沙发平行。

实验如何设计？

  • 评测是单物体插入：按自然语言语义-空间指令把目标放进已有三维场景。Common Placement Set 含 60 条（S001–S060），覆盖距离、方向、朝向、对齐和靠墙等常见关系，用于跨数据集验证和基线对照；对照时所有方法使用同一提示、场景和固定资产类别。Fit-Critical Set 另含 60 条（F001–F060）：前 30 条叠加旋转、倚靠、躺卧，后 30 条要求填缝、靠墙窄边或家具下方/内部。
  • 场景用 ReplicaCAD 测干净几何、Replica 测带噪声扫描。基线为适配到单物体插入的 LayoutGPT、Holodeck、LayoutVLM，只允许预测或优化被插入物体，场景其余部分不变。Table 2 中的 ElasticFit 关闭场景条件生成与形变适配，以隔离放置与落地质量。全部视觉语言推理使用 Gemini-3.1 Pro Preview。
  • 指标有四项。SRS 检查最终插入是否满足可自动验证的空间谓词；CFR 按采样点与固定容差估计是否出现不可接受的互穿；SupR 看物体底部间隙与足迹支撑覆盖；CPS 用 GPT-5.4-mini 对匿名用户视角截图和原提示打 1–5 分。除 CPS 外均以百分比报告，越高越好。

关键结果与论文证据

  • Table 1 显示放置专用 ElasticFit 在 ReplicaCAD 与 Replica 上接近：SRS 约 70.4% 对 69.7%，SupR 92.7% 对 91.7%。干净 CAD 的情境分数略高（4.58 对 4.18），扫描噪声没有把落地和精修打垮。后续主实验因此放在更接近真实增强现实条件的 Replica 上。
  • Table 2 上 ElasticFit 取得最高 SRS 69.7%、SupR 91.7% 和 CPS 4.18，相对最强基线 LayoutGPT 的 50.8% / 48.3% / 3.72。Holodeck 的 CFR 达 95.0%、LayoutVLM 为 93.0%，高于 ElasticFit 的 91.7%，但 SRS 和 SupR 明显更低。作者解释为保守策略把物体放得离杂乱几何太远，靠近和接触约束反而失败。图4里可见：LayoutGPT 位置大致对但会穿透或悬空；Holodeck 避碰更好却可能找错参照，植物示例甚至标出 The plant is placed out of view；LayoutVLM 多视图能减歧义，对不规则支撑仍可能漂。ElasticFit 把推理对齐用户当前视角，并做几何物理精修。
  • 完整方法在 Fit-Critical Set 上总体 SRS 60.8%、CFR 71.7%、SupR 83.3%、CPS 4.57。姿态接触子集较强（SRS 73.3%、CFR 76.7%）；空隙填充更难（SRS 48.3%、CFR 66.7%），但 SupR 仍有 86.7%、CPS 4.63。附录指出 25 个 SRS 未满的空隙例中 24 个 CPS≥4，76% 卡在 parallel_to，说明严格几何谓词和观感合理性并不等同。Table 4 在另一视角的空隙消融里，去掉几何物理拟合使 CFR 从 76.7% 掉到 36.7%，穿透顶点比从 1.08% 升到 6.09%；只去掉沉降则主要影响小缝和支撑。

阅读时需要注意

  • 结论写明：当前弹性模式依赖各向异性缩放，布料覆盖椅子或枕头被挤进角落这类真非刚性形变仍未解决；靠近约束下有时支撑成立但物体部分悬出边缘。作者建议引入显式包容约束，并探索多物体同时插入。
  • 附录 A 补充：任务集与方法同步设计，结果应放在这一受控设定里解读，也未量化重复运行波动。实验使用数据集提供的语义实例标注，对预测标注错误的稳健性未经测试。可见失败包括方向拟合（3.3%）、生成与适配失配（10.0%）以及凹面支撑歧义（1.7%）。
  • 更广影响方面，系统面向研究，可能继承外部视觉语言模型与生成模型的偏差或伪影，不能在未核验的情况下用于安全关键的真实设计或物理规划。预印本会议状态以页眉注释为准。

关联工作

  • FirePlace 是设计上最近的对照：同样把语言常识接到细粒度几何，但假设插入物是预先给定的固定资产。ElasticFit 研究互补的 make-it-fit 设定，要同时决定放哪里以及物体应如何生成或变形。PLACEIT3D 提出真实三维场景中的语言引导放置基准；ScanEdit 与 EditRoom 做扫描或房间布局的指令编辑，插入资产在过程中通常保持固定。
  • LayoutGPT 从文本预测布局，Holodeck 生成空间约束再搜索构建，LayoutVLM 用多视图做可微布局优化。它们构成主基线族，但布局抽象不足以刻画精细支撑、接触和贴合适配。生成式插入工作能把新物体写进神经辐射场或三维高斯场景，问题多被写成生成编辑，而不是为满足局部几何约束而做的场景落地适配。
  • 实现上 ElasticFit 把 SDXL 风格二维生成和 TRELLIS 三维抬升当作贴合流程的一环，而不是孤立资产工厂。几何拟合后再用 PyBullet 做轻量物理沉降，以补上许多布局方法最后不做物理落稳的缺口。

发表评论