MeshFM:不靠3D标注,2D特征如何让模型看懂三维世界?
三维形状理解长期依赖昂贵的3D标注或缓慢的逐形状优化。MeshFM另辟蹊径,仅从DINOv2等2D基础模型蒸馏知识,通过SAM纠正特征混叠,训练出一个前馈网络直接预测通用3D特征。实验表明,该方法在零样本分割、对应、分类任务上媲美甚至超越专用SOTA模型,且对任意旋转鲁棒。但其继承2D模型的左右对称混淆问题值得注意。
三维形状理解长期依赖昂贵的3D标注或缓慢的逐形状优化。MeshFM另辟蹊径,仅从DINOv2等2D基础模型蒸馏知识,通过SAM纠正特征混叠,训练出一个前馈网络直接预测通用3D特征。实验表明,该方法在零样本分割、对应、分类任务上媲美甚至超越专用SOTA模型,且对任意旋转鲁棒。但其继承2D模型的左右对称混淆问题值得注意。