CMA框架如何解决

哪个模态起决定作用？面向多模态大语言模型的反事实模态归因

作者

快速导读：提出CMA框架，通过耦合扩散先验生成反事实样本并结合Shapley值，首次量化多模态大模型中图像与文本模态对预测的贡献度。

多模态大语言模型（MLLM）在医疗诊断、自动驾驶等高风险场景中日益普及，但基准准确率无法揭示模型是否真正融合了多模态证据。一个模型可能完全忽略关键的文本信息，仅凭图像做出正确预测——这种“捷径学习”在测试集上表现良好，却在真实世界中埋下隐患。

本文提出反事实模态归因（CMA）框架，首次将模态级别的贡献度量化为可解释的Image%和Text%分数。CMA通过耦合扩散先验生成反事实样本，将图像和文本视为合作博弈中的两名玩家，利用Shapley值计算各模态对预测的因果贡献。在受控合成基准上，CMA正确识别决策驱动模态的命中率达98%，而现有基线方法在图像偏置场景下几乎完全失效。

英文题目：Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs

论文出处：arXiv 每日论文精选 · arXiv:2608.00076

原始论文：PDF / 论文页面

这篇论文解决什么问题？

现有多模态模型的可解释性方法主要聚焦于特征归因——定位图像中的重要区域或文本中的关键词元。然而，这类方法无法回答一个更根本的问题：究竟是图像还是文本驱动了模型的最终预测？

以医疗场景为例（图1），一名肺炎患者的胸部X光片显示感染，但电子病历明确标注了严重的青霉素过敏史。如果模型正确融合两种模态，会推荐安全的阿奇霉素；若模型过度依赖图像而忽略过敏信息，则可能开出阿莫西林，引发致命的过敏性休克。两种情况下模型都做出了“正确”的诊断，但后者依赖了错误的证据。

现有的模态级解释方法如MM-SHAP和MultiViz试图通过聚合细粒度特征重要性来推断模态贡献，但实验表明它们在图像偏置场景下命中率仅为0%和3%，无法可靠识别模型的真实决策驱动模态。这是因为局部特征的重要性分布未必反映整个模态的因果依赖关系。

因此，本文提出了一个全新的可解释性目标——模态归因，旨在量化每个模态对预测的因果贡献，揭示模型在多模态推理中的真实依赖结构。

核心创新

  • 提出模态归因作为多模态基础模型的补充可解释性目标，区别于特征归因。
  • 首次提出CMA框架，通过耦合扩散先验同步生成图像、文本及联合反事实样本，实现模态级归因。
  • 引入合作博弈论公式，将多模态反事实转化为可解释的Shapley模态归因分数，量化个体贡献与跨模态交互。

方法概览

CMA框架包含三阶段：(1) 同步预训练的图像(DDPM)和文本(RDLM)扩散先验，在分类器梯度引导下生成仅图像、仅文本和联合反事实样本；(2) 将原始与反事实模态组合成四种联盟；(3) 将图像和文本视为两人合作博弈的玩家，通过Shapley值计算各模态对预测的因果贡献（Image%和Text%）。

  • CMA框架包含三个核心阶段（图2）。第一阶段是耦合扩散先验的预训练：图像模态采用DDPM（去噪扩散概率模型），文本模态采用RDLM（黎曼扩散语言模型），两者独立预训练后在反向扩散过程中同步，并由预训练MLLM的分类器梯度联合引导。
  • 第二阶段是反事实生成。CMA在Carlini-Wagner间隔损失的梯度引导下，生成三种类型的反事实样本：仅修改图像而保持文本不变的图像反事实、仅修改文本而保持图像不变的文本反事实、以及同时修改两种模态的联合反事实。这些反事实旨在翻转模型的原始预测。
  • 第三阶段是Shapley值归因。将原始模态与反事实模态组合成四种联盟：空联盟（两种模态均为反事实）、仅图像联盟、仅文本联盟、完整联盟（两种模态均为原始）。将图像和文本视为两人合作博弈的玩家，通过Shapley值公式计算每个模态对预测的边际贡献，最终输出Image%和Text%归因分数。
  • CMA的扩散先验同步机制确保了生成的反事实样本在保持跨模态一致性的同时，能够独立操纵单一模态。这与现有单模态反事实方法（如DiME、DVCE）形成鲜明对比，后者无法捕获跨模态依赖。
  • Shapley值的引入使得归因分数具有坚实的博弈论基础，满足效率性、对称性、虚拟性和可加性等公理，确保归因结果的公平性和可解释性。
  • 整个框架是模型相关的，归因分数反映的是模型对模态的依赖程度，而非模态本身的内在重要性。这一区分对于正确解读归因结果至关重要。

逐图理解论文

失败案例与直觉

失败案例与直觉
Figure 1: Illustration of modality attribution failure in a medi- cal MLLM. A patient with pneumonia is correctly diagnosed from chest X-ray imaging. However, the EHR specifies a se- vere penicillin allergy. When the model properly integrates both image and text modalities, it recommends azithromycin, leading to safe recovery. If the model relies predominantly on the image modality and ignores the allergy information, it prescribes amoxicillin, potentially triggering life-threatening anaphylaxis.

图1通过医疗诊断案例直观展示了模态归因失败的危险：一名肺炎患者同时有青霉素过敏记录，若模型过度依赖图像而忽略文本中的过敏信息，可能推荐致命药物。这说明了仅靠准确率无法揭示模型是否依赖了正确的证据。

研究空白与核心区分

研究空白与核心区分
Figure 4: Modality attribution accuracy on image-biased and text-biased Synthetic MNIST benchmarks. A hit indicates that the identified dominant modality matches the known ground-truth model bias. Whiskers denote 95% Wilson con- fidence interval across evaluation samples.

图4展示了CMA与基线方法在Synthetic MNIST上的归因准确性对比。CMA在两种偏置设置下均达到98%命中率，而MM-SHAP和MultiViz在图像偏置场景下几乎完全失效，暴露了现有方法的根本缺陷。

CMA框架如何解决

CMA框架如何解决
Figure 2: Overview of the proposed Counterfactual Modality Attribution (CMA) framework. (1) Independently pretrained image and text diffusion priors are synchronized during reverse diffusion and jointly guided by gradients from the pretrained MLLM to generate realistic image-only, text-only, and joint counterfactuals. (2) Combining original and counterfactual modalities forms the four coalitions required for modality attribution. (3) Treating image and text as players in a two-player cooperative game, Shapley values quantify their relative contributions to the model prediction, producing Image% and Text% attribution scores.

图2展示了CMA框架的三阶段流程：耦合扩散先验同步生成反事实样本，组合原始与反事实模态形成四种联盟，最后通过Shapley值计算各模态的归因分数。这是理解CMA技术路线的核心图示。

关键证据与结论

关键证据与结论
Figure 3: Qualitative comparison of generated counterfactuals across different generation modes for Synthetic MNIST (top row, a–d) and Multiclass OpenI dataset (bottom row, e–h): Image-only mode generates counterfactual images while keeping text fixed; Text-only mode modifies text while keeping images fixed; and Joint mode simultaneously updates both image and text modalities to flip the prediction. Notably, the text-only counterfactual for OpenI (g) does not flip the decision to Normal because the shortcut feature in the image input remains unperturbed and determines the model’s Nodule prediction in this case.

图3对比了三种反事实生成模式在合成和真实数据上的效果。特别值得注意的是OpenI数据集的文本反事实（g）未能翻转预测，因为图像中的捷径特征未被扰动，这直接证明了CMA揭示模态依赖的能力。

实验如何设计？

  • 在受控合成基准Synthetic MNIST上进行定量评估，该基准包含已知模态偏好的模型变体（图像偏置和文本偏置），提供模态归因的地面真值。
  • 在真实临床数据集Multiclass OpenI上验证CMA揭示临床无关捷径的能力，该数据集包含胸部X光片和放射学报告。
  • 与五种基线方法进行对比：Input×Gradient、Perturbation SHAP、EAGLE、MM-SHAP和MultiViz。
  • 通过渐进式破坏图像和文本模态进行消融实验，验证归因分数对输入证据的忠实性。
  • 评估指标为命中率——识别出的主导模态与已知模型偏置一致的比例，使用95% Wilson置信区间。

关键结果与论文证据

  • CMA在图像偏置和文本偏置的Synthetic MNIST上，正确识别决策驱动模态的命中率达98%（第6页，图4），显著优于所有基线方法。
  • 基线方法在图像偏置设置下表现灾难性：MM-SHAP命中率0%，MultiViz命中率3%（第6页），因为它们基于局部特征重要性聚合，无法反映整个模态的因果依赖。
  • 在文本偏置设置下，MM-SHAP和MultiViz命中率100%，但这一结果具有误导性——它们并非可靠地恢复了已知偏置，而是因为文本偏置模型的决策规则恰好与局部特征重要性分布一致（第6页）。
  • 在Multiclass OpenI数据集上，CMA成功揭示了临床无关的捷径：模型对“结节”类别的预测完全由图像中的伪影驱动，文本反事实无法翻转预测（图3g-h，第6页）。
  • 渐进式破坏实验（图5，第7页）表明，随着图像或文本模态被逐步破坏，对应模态的归因份额单调衰减至0%，完全转移至未破坏的模态，验证了归因分数对输入证据的忠实性。
  • 当一模态被完全破坏时，归因完全转移至另一模态，这揭示了单模态决策的崩溃，而非成功的多模态推理——这是CMA揭示的重要安全信号（第7页）。
  • CMA的归因分数具有参考依赖性：不同的有效反事实参考可能导致不同的归因分数，这是反事实解释的固有特性，而非CMA的缺陷（第7页）。

阅读时需要注意

  • 归因质量依赖生成反事实的质量，不完美的生成可能影响归因准确性（第7页）。
  • CMA提供的是模型相关、参考依赖的反事实归因，而非数据生成过程中的因果效应（第7页）。
  • 当前框架仅在模态级别操作，无法识别模态内哪些具体区域或文本片段对预测负责（第7页）。
  • 基于扩散的反事实生成相比梯度或扰动方法计算成本更高，目前限于离线分析（第7页）。

关联工作

  • MM-SHAP通过聚合词元和图像块的细粒度Shapley值提供模态份额，但无法可靠识别图像偏置模型的主导模态（第6页）。
  • MultiViz为图像和文本分别拟合局部LIME代理模型并归一化系数质量作为模态份额，但无法反映因果依赖（第6页）。
  • EAGLE分析自回归生成中语言先验与感知证据的相对影响，但原生不支持模态级归因（第6页）。
  • DiME、DVCE、ACE等基于扩散的单模态图像反事实解释方法，无法捕获跨模态依赖或量化多模态联合贡献（第2页）。

发表评论