Hallo4D:基于多模态大模型共识的3D/4D生成时空一致性优化

背景:SDS方法的局限与4D挑战

本文介绍Hallo4D框架,旨在解决3D/4D生成中的Janus问题和时间抖动。通过引入LMMs进行幻觉检测与校正,结合共识驱动的重一致性优化和运动显著性采样,显著提升一致性。实验显示CLIP Score提升,但需注意LMM推理开销及单前景假设。