Synergy Heads

本文提出HEAL方法，通过因果噪声干预和反事实双重差分法解耦注意力头信息，发现幻觉源于协同头中视觉-语言信息分布偏离平衡态，并据此在推理时动态校准信息分布以有效抑制幻觉。