编辑是一条链

EditHero：长程部件级三维编辑与氛围建模基准

作者

快速导读：EditHero用可精确回放的部件编辑链评测多轮三维修改：非Agent方法从第一轮就跟不紧且未改区域漂移，代码Agent保得好但每轮要数分钟。

三维编辑方法通常在一次干净的源上打分：改一只眼镜、换一顶帽子，然后结束。真实资产不是这样。美术和游戏管线里，一个物件要经过一长串修订，每一轮既要完成点名修改，又得把前几轮已经成立的东西留下。vibe modeling把这事说成自然语言对话塑形，但现有成对数据给不出每一回合的精确三维真值，也就说不清方法能不能在自己的输出上反复改。

EditHero（arXiv:2610.02298，Alaya Lab / 东京大学 / 东京科学大学 / 加州大学默塞德分校）用确定性装配引擎生产部件级编辑链：457条链、2755次编辑、252个主机，最长30回合。四种原子操作是add、remove、replace、retexture。作者在同一self-rollout协议下对比两类相反路线：非Agent方法自上而下用学到的三维表征整物重绘；LLM/VLM Agent自下而上写代码只改被点名部件。项目页https://alaya-lab.github.io/EditHero/ 代码https://github.com/AlayaLab/EditHero

英文题目：EditHero: A Benchmark for Long-Horizon Part-Level 3D Editing and Vibe Modeling

论文出处：arXiv 每日论文精选 · arXiv:2610.02298

原始论文：PDF / 论文页面

这篇论文解决什么问题？

图1用五回合人偶把冲突画出来：加墨镜、摘帽、头发变棕、换装、再戴女巫帽。传统非Agent方法每轮重生整只人偶，没人要求改的部位也会漂；Agent用代码只改点名部件，其余钉死，但新部件更简单。中间S形轨迹强调每一回合都要继承前面的成果。

相关工作里，早期方法用二维扩散先验优化NeRF或高斯，后来在渲染视图上改再重建。TRELLIS出现后，PartFlow加源控制分支，3DEditFormer用双引导注意力，VoxHammer反演并重用保留区特征，Nano3D走FlowEdit。它们几乎都按单次编辑报告。BlenderGym、3DCodeBench让Agent朝一个固定目标迭代，EZBlender把多条编辑捆进一条提示。据作者所知，EditHero是第一个按顺序施加不同自然语言部件编辑、并且每一回合都有精确三维参考的基准。

因此评测必须回答：真值从哪来；如何把“改对了没有”和“不该动的动了没有”分开；方法在自己输出上连改时，错误会不会遗传。

核心创新

  • 用可回放的部件装配引擎给每一回合提供精确三维真值，而不是用生成模型当靶。
  • 把长程评测拆成编辑区指令跟随与未改区内容保持，避免整物分数奖励什么都不改。
  • 在同一self-rollout协议下对比非Agent整物重绘与代码级LLM/VLM Agent。

方法概览

装配引擎把主机拆成命名槽位，从PartVerse-XL、Objaverse-XL、HY3D-Bench建的部件库检索，经VLM筛选与接触/尺度/连通/互穿检查，记录add/remove/replace/retexture到JSON；配合库可精确重建任一回合。人工审阅修正部件、朝向、指令与依赖。评测用self-rollout：第k轮吃自己的k−1输出、文本指令和目标渲染。编辑区由指令点名部件在前后真值中的并集定义，互补为未改区。IF相对方法自身上一输出计算还该发生的添加/删除；CCprev是未改区与自身上一输出的IoU，CC0是从未被点名区域相对初始主机的保持。无操作与TRELLIS重生是两端基线。

  • 任务从带纹理、已部件分割的主机S0出发。add把库部件贴到空闲接触面；remove删掉命名槽（可由多块组成）；replace在同一位置换件；retexture只改外观不改几何。其余部件应保持不变。文本指令可以引用更早的编辑，例如先加后删。
  • 精确真值靠装配而不是靠生成模型当靶。添加/替换时，引擎按标题从PartVerse-XL、Objaverse-XL、HY3D-Bench部件库检索，VLM筛选后再查接触、尺度、连通和互穿。删除清掉占用该槽的几何。重贴纹理先渲染该槽，用Qwen-Image-Edit改外观，再经TRELLIS.2的贴图模块把新外观贴回未改几何。每条链是一份JSON，记录通过的操作、库部件、位姿与纹理；与库一起可重建任一Sk。测试方法看不到日志，只收到指令和该回合目标渲染。
  • 人工审阅检查错误部件、朝向、放置、尺度、含糊指令和断裂依赖，并改写由标题草拟的指令。评测用self-rollout：第k轮输入是方法自己的第k−1输出。编辑区Ek由指令点名部件在前后真值中的体素投影并集再膨胀一格得到，互补为未改区。IF只计算相对方法自身上一输出还缺的添加或还该消失的删除，替换取调和平均；重贴纹理无几何IF。CCprev是未改区与自身上一输出的IoU，CC0在从未被点名的累积区域上相对初始主机。无操作基线IF=0、CC=1；TRELLIS重生每轮只看目标渲染，IF高但CCprev只有0.38量级。

逐图理解论文

编辑是一条链

编辑是一条链
Figure 1 Editing is a sequence. The figurine goes through 5 edits, and every turn has to keep what the earlier turns built. It gains sunglasses (t1), loses its cap (t2), turns brown-haired (t3), changes its outfit (t4) and finally puts on a witch hat (t5). The 2 plinths show 2 ways of getting there. A traditional, non-agentic method regenerates the whole figurine at every turn, so parts nobody asked to change can drift. An agentic method rewrites only the named part through code, which keeps the rest fixed, although the new parts come out simpler. Can either meet the demands of asset production, and how can we reach vibe modeling?

图1是问题总览。左座四枚操作徽章Add/Remove/Replace/Retexture围着初始侦探装人偶；中座MULTI-TURN EDITS用S形轨迹标t0到t5：墨镜、摘帽、棕发、换装、女巫帽；右座两只完成态，Traditional底座衣服发灰破损，Agentic底座更干净但部件更简单。裁切顶部残留摘要、项目页与Alaya Lab标志，读图以下方场景为准。

可回放真值

可回放真值
Figure 2 Constructing EditHero. (a) A host object is divided into named slots, and candidate parts are drawn from a captioned library. (b) The addition shown illustrates edit selection, part retrieval, visual screening and placement checks. Each accepted edit is recorded in the chain log, and reviewers refine the drafted instructions. (c) With the part library, the log rebuilds the exact target of any turn. A method under test never sees the log. It receives the instruction and the target render of each turn. The example combines recorded turns from 4 chains on the same host; all images are renders. Colors indicate the 4 edit operations.

图2是基准构造，宜作特色图。(a)黄粉衣kokeshi与右侧人偶，槽位标在头、肩，库候选有灰兔、招财猫、灯笼。(b)一轮装配：选add、按标题检索、VLM过纹理、放置检查接触/尺度/间隙/重叠/连通，失败则换件，成功写入JSON并生成指令Add a gray rabbit…。(c)S0到S6回放：右衣格子重贴、加兔、加灯笼、人偶换成招财猫、删兔、左衣仙鹤重贴。测试方法看不到日志。

关键证据

关键证据
Figure 4 Along a chain. (a,b) Means on the same 135 chains with at least 7 turns, completed by all 4 non-agentic methods (103 hosts). Only defined scores enter each mean; shading shows 95% host-clustered bootstrap intervals. (a) IF relative to the method’s previous output. (b) CC0 in regions never edited so far. (c) IoU to the target on the 147 chains of the reset diagnostic with at least 5 turns (Appendix H). Solid lines: each turn starts from the model’s own output. Dashed lines: each turn starts from the ground-truth previous state.

上半是Table 2：457条链上无操作IF=0、CCprev=1；重生IF=0.50、CCprev=0.38；非Agent IF 0.12–0.32，Nano3D整物最好，VoxHammer IF最高但保持最差。下半Figure 4：(a)IF全程低，紫点线重生约0.5；(b)CC0下降，黄线Nano3D最高，橙线VoxHammer掉最多；(c)实线self-rollout低于虚线真值起步，说明错误会遗传。阴影为95%主机聚类区间。

实验如何设计？

  • 非Agent：PartFlow、Nano3D、3DEditFormer、VoxHammer，用发布代码与默认采样，在全部457条链上self-rollout。每轮给出自身上一输出、指令和固定视角目标渲染；VoxHammer额外拿到真值编辑掩膜。Nano3D没有材质模式，材质回合改走替换。图像指标对1个条件视角加3个留出视角取平均。
  • Agent：GLM 5.3 Flash、DeepSeek V4.1 Flash、Sol 6、Astra、Fable 5.1、Opus 5.5。每条链一个独立Agent、同一编辑提示。新部件必须用代码从图元搭建，不允许外部部件库或生成式三维/图像模型。比较在55条、416回合的人工挑选子集上进行，覆盖六个链族。
  • 图4的沿链曲线限制在四方法都跑完、且至少7回合的135条链（103个主机）；阴影是按主机聚类的95%自助区间。重置诊断另用至少5回合的147条链，实线从自身输出起步，虚线从真值上一状态起步。

关键结果与论文证据

  • 整物分数会奖励偷懒。Table 2里无操作基线在整物F、LPIPS、PSNR上都超过全部非Agent方法，因为一轮只改一小块，交回输入就已经很高。只有编辑区能把真编辑和无操作分开：非Agent的编辑区LPIPS为0.474–0.521，无操作为0.569。重生基线IF最高（0.50），未改区与自身上一输出的IoU只有0.38。好的编辑器要两边都高，非Agent两边都不到。
  • 指令从第一轮就跟不紧。全回合IF只有0.12–0.32，第1轮已是0.24–0.36。Nano3D与VoxHammer跟随最好（0.31/0.32），但VoxHammer未改区IoU只有0.71，对Nano3D的0.89。图4上IF全程低位徘徊；CC0从第1轮0.60–0.78掉到第7轮0.33–0.67，VoxHammer掉最多。重置诊断说明不少损失是遗传：第5轮Nano3D目标IoU在self-rollout下0.52，从真值起步则0.68；3DEditFormer为0.36对0.46。
  • Agent保得住，通常也跟得更紧。比较子集上六个LLM的CCprev为0.95–0.98，高于非Agent的最高0.90。除GLM 5.3 Flash外，IF也更高，Opus 5.5达到0.62，整物PSNR 26.6。删除几乎是送分（IF 0.88–0.99），添加0.10–0.49、替换0.17–0.52，因为代码搭的新几何常错大小和形状。每个Agent都交得出网格，且整物LPIPS优于无操作。
  • 慢是硬伤。LLM每轮中位约1.5–6分钟、6–16次模型调用；非Agent在本地GPU上约20–50秒。最好的Agent编辑质量更好，仍不适合交互式资产生产。图5篷车连续六次替换上，非Agent跟不住罩布颜色序列，有的还改了没被点名的车斗；三个LLM的误差更集中在罩布，但新罩布仍然偏简单。

阅读时需要注意

  • 代码生成的新几何质量有限，添加和替换明显弱于删除；禁止外部库和生成式三维模型是为了公平，也把Agent的上限卡住了。
  • Agent比较只覆盖55条可见修订链，不能直接当成457条全基准排序。VoxHammer额外使用真值掩膜，与其他非Agent输入不对等。Nano3D材质回合走替换模式。
  • 真值由程序化装配和人工改指令得到，覆盖角色、机器人、动物、载具、物件、场景，仍不是完整美术工作室流程。预印本，未同行评审。作者把Agent式局部改写看成更贴近编辑的方向，但如何与快速生成式方法结合仍开放。

关联工作

  • 单次编辑基准要么拿生成模型当靶，要么没有三维目标、只和编辑后的图像比。EditHero把操作日志写成可回放的真值，使长程保持变成可测的量。
  • 非Agent把编辑做成条件生成，必然改到每个角落；Agent把编辑做成程序重写，保持是构造出来的。基准把这两种归纳放到同一套IF/CC尺子上。
  • 结论把vibe modeling写成仍未达到的生产需求：既要跟得上连续指令，又要保住没点名的部分，还要快到可交互。作者将公开引擎与编辑序列。

发表评论