G-Skin:用2D生成先验为3D高斯绑定骨骼
关键洞察在于:我们不需要3D蒙皮真值,因为2D视觉基础模型已经内化了丰富的运动先验。G-Skin的做法是,先微调一个骨骼可控的图像生成模型——给它参考图像、骨骼控制点和动态掩码,它就能合成出姿态变化后的引导图像。然后,用这些2D引导图像作为监督,去优化一个CNN蒙皮网络。整个过程不需要任何3D蒙皮数据集,2D生成先验就是我们的老师。
关键洞察在于:我们不需要3D蒙皮真值,因为2D视觉基础模型已经内化了丰富的运动先验。G-Skin的做法是,先微调一个骨骼可控的图像生成模型——给它参考图像、骨骼控制点和动态掩码,它就能合成出姿态变化后的引导图像。然后,用这些2D引导图像作为监督,去优化一个CNN蒙皮网络。整个过程不需要任何3D蒙皮数据集,2D生成先验就是我们的老师。