测试时幻觉控制:单次生成、不改模型,用 CLIP 验证物体 token
提出 TTH,一种无需训练、单次生成、不改模型权重或隐状态的解码策略,通过 CLIP 验证候选物体 token 并以熵自适应融合来抑制 LVLM 物体幻觉。
提出 TTH,一种无需训练、单次生成、不改模型权重或隐状态的解码策略,通过 CLIP 验证候选物体 token 并以熵自适应融合来抑制 LVLM 物体幻觉。
UniProbe 从冻结 LVLM 的单次前向传播中构建计算轨迹图,并用 GNN、ViT、GRU 交替模块进行令牌级幻觉检测与解码期缓解。
TruthLens微调LVLM的LM head,通过一个特殊token的对数概率来暴露每个目标token的真实性信号,无需辅助模型即可实现SOTA的幻觉检测。
提出内在接地签名(IGS)和验证器引导解码(VGD),在生成时定位并仅重写高风险的对象提及,从而在保持模型原有视觉理解和覆盖度的同时显著减少对象幻觉。