Rest2Art:仅凭静止状态,如何重建铰接物体的3D结构与运动?

从静止到运动:视频扩散模型提供假设

我们日常见到的柜子、抽屉、冰箱,大多处于闭合状态。如果只给你看一张闭合柜门的照片,你能准确说出里面有几个抽屉、门往哪边开吗?这正是Rest2Art要解决的核心问题:从物体的静止状态观测中,重建出完整的部件级几何和关节运动参数。现有方法要么需要多个运动状态作为输入,要么依赖已知的部件数量,而Rest2Art通过三个关键设计突破了这些限制:首先,让视觉语言模型和分割模型相互“挑错”,在迭代协同优化中自动发现部件;然后,利用视频扩散模型合成可能的铰接运动,从中提取运动轨迹;最后,用网格几何约束来筛选和精化关节参数。实验表明,该方法在合成和真实数据集上均能有效恢复铰接结构,但也存在视频生成可能失败、微