Hallo4D:基于多模态大模型共识的3D/4D生成时空一致性优化
本文介绍Hallo4D框架,旨在解决3D/4D生成中的Janus问题和时间抖动。通过引入LMMs进行幻觉检测与校正,结合共识驱动的重一致性优化和运动显著性采样,显著提升一致性。实验显示CLIP Score提升,但需注意LMM推理开销及单前景假设。
本文介绍Hallo4D框架,旨在解决3D/4D生成中的Janus问题和时间抖动。通过引入LMMs进行幻觉检测与校正,结合共识驱动的重一致性优化和运动显著性采样,显著提升一致性。实验显示CLIP Score提升,但需注意LMM推理开销及单前景假设。
视觉语言模型(VLM)在物体计数任务中常出现幻觉。本研究通过探针分析发现,VLM内部编码了正确的计数信息,但输出方向存在错位。论文提出基于误差检测器的自校正方法,在不更新参数的情况下将计数准确率提高了最高15.6%。视频涵盖探针分析、SVCCA子空间对齐、因果干预实验及自校正框架效果,并讨论模型差异与局限性。