一个具体失效案例

边际覆盖达标，最差类别却归零：零样本VLM共形预测的类别尾部审计

作者

快速导读：审计发现：零样本VLM的split-conformal预测在分布偏移下边际覆盖看似达标，但最差类别覆盖坍缩至≈0，且源域诊断无法预测该失效。

零样本视觉语言模型（VLM）常被直接部署为开放世界分类器，split-conformal预测则作为弃权层提供有限样本边际覆盖保证。本文的核心问题是：当部署分布偏离校准分布时，边际覆盖达标是否意味着每个类别都获得了合理的安全保障？

作者在ImageNet-val上以α=0.10校准CLIP、OpenCLIP和SigLIP三种冻结VLM，不重校准地评估其在ImageNet-V2、Sketch、R、A及Cars、Food等偏移集上的表现。结果令人警醒：边际覆盖看似接近目标，但最差类别覆盖坍缩至零，且源域诊断无法预测这一失效。

英文题目：Does Marginal Coverage Guarantee Class-Conditional Safety for Zero-Shot VLMs Under Shift?

论文出处：arXiv 每日论文精选 · arXiv:2608.19376

原始论文：PDF / 论文页面

这篇论文解决什么问题？

Split-conformal预测在交换性假设下提供有限样本边际覆盖保证，即预测集包含真实标签的概率不低于预设水平。这一保证是边际的——它平均所有类别的覆盖，而不承诺任何单个类别。

在零样本VLM部署中，交换性假设几乎必然被违反：校准集来自ImageNet-val，部署数据却可能是素描、渲染图或自然腐蚀图像。当分布偏移发生时，边际覆盖可能仍然达标，但类别条件覆盖可能严重失衡。

已有工作如Conf-OT（Silva-Rodríguez et al., CVPR 2025）和Fillioux et al.关注边际覆盖在偏移下的鲁棒性，Kasa & Taylor在ViT/ConvNeXt分类器上报告了边际与类别条件覆盖的分离。本文的贡献在于将这一审计扩展到冻结零样本VLM的跨家族、跨偏移设置，并给出失效机制解释。

核心创新

  • 首次跨家族审计冻结零样本VLM（CLIP/OpenCLIP/SigLIP）在视觉、腐蚀和词汇偏移下的conformal预测类别尾部安全性
  • 用有限样本null-MCCC模拟带证明类别尾部坍缩超出worst-of-K采样噪声
  • 揭示类别尾部失效与目标域类别准确率对齐（ρ≈0.70）但源域诊断不可见（ρ≈0.06–0.19）
  • 发现2–3×跨家族集合大小效率差距及SigLIP原生sigmoid分数与APS概率质量解释的失配

方法概览

审计协议：在ImageNet-val上以α=0.10校准CLIP/OpenCLIP/SigLIP（ViT-B/16），不重校准地评估V2/Sketch/R/A/C及Cars/Food；比较LAC/APS/RAPS分数、边际与Mondrian校准、Conf-OT转导修复、聚类conformal、选择性预测和目标标签oracle；用模拟null-MCCC带区分真实坍缩与worst-of-K采样噪声。

  • 审计协议：在ImageNet-val上以α=0.10校准CLIP/OpenCLIP/SigLIP（ViT-B/16），不重校准地评估V2/Sketch/R/A及Cars/Food等偏移集，比较LAC/APS/RAPS三种一致性分数。
  • 类别条件覆盖度量：计算每个类别的覆盖率和最差类别覆盖（MCCC），并与有限样本null-MCCC带比较。该null带模拟有效预测器在worst-of-K采样噪声下的最差类别覆盖分布，用于区分真实坍缩与统计噪声。
  • 失效机制分析：计算per-class覆盖与目标域类别准确率的Spearman相关，以及与源域类别准确率的相关，检验类别尾部失效是否由准确率驱动且源域不可见。
  • 修复方法评估：测试source-Mondrian校准、clustered conformal、Conf-OT转导修复、选择性预测和目标标签oracle，比较它们对边际覆盖和最差类别覆盖的影响。
  • 分数几何与效率：比较LAC/APS/RAPS的集合大小与覆盖，特别检查SigLIP原生sigmoid分数与softmax归一化后APS概率质量解释的差异。
  • 规模与鲁棒性：从base到XL的规模阶梯测试，以及α=0.05和0.999的敏感性分析，检验类别尾部失效是否随规模或置信水平改变。
  • 非ImageNet复现：在Stanford Cars和Food-101上重复审计，验证结论不限于ImageNet标签空间。

逐图理解论文

一个具体失效案例

一个具体失效案例
Fig. 1: ImageNet-Sketch, APS calibrated on ImageNet-val. Marginal coverage remains near 0.86 for all three families (A; target 0.90), while 10–12% of classes fall below the finite-sample null floor of 0.70 (B) and the worst class receives zero coverage.

左图显示三种VLM家族在Sketch上的边际覆盖均接近0.86，看似达标；右图则揭示10–12%类别低于0.70的null下限，最差类别覆盖为零。这张图是全文核心论点的直观呈现：边际覆盖掩盖类别尾部坍缩。

论文贡献与机制

论文贡献与机制
Fig. 2: Mechanism (CLIP, Sketch): per-class coverage tracks per-class target accuracy (ρ=0.70, left) but is essentially uncorrelated with per-class source accuracy (ρ=0.14, right), i.e. accuracy-driven yet source-invisible (Sec. 4.3).

左图显示per-class覆盖与目标域类别准确率强相关（ρ=0.70），右图显示与源域准确率几乎无关（ρ=0.14）。这说明类别尾部失效由目标域准确率驱动，但源域诊断无法预见。

修复方法的边界

修复方法的边界
Fig. 4: Deployable repairs on ImageNet-Sketch (CLIP) improve different average met- rics, and Conf-OT restores marginal coverage toward 0.90 (left), but none restores the worst-class tail (right, all at 0); only the target-label oracle substantially lifts the tail (Sec. 4.4).

左图显示Conf-OT恢复边际覆盖至0.90附近，右图显示所有无目标标签修复方法的最差类别覆盖仍为零，只有目标标签oracle能实质提升尾部。这张图定义了修复方法的标签访问权衡。

结论与意义

结论与意义
Fig. 5: Scale improves top-1 accuracy but leaves the class-tail failure nearly unchanged on ImageNet-Sketch: across CLIP, OpenCLIP, and SigLIP the below-null class fraction stays ≈10–13% from base to XL.

从base到XL，top-1准确率提升，但below-null类别比例保持10–13%。这说明规模提升准确率并不能自动修复类别尾部安全性。

实验如何设计？

  • 校准集：ImageNet-val，每类约50张图，α=0.10（另测0.05和0.999）。
  • 偏移集：ImageNet-V2、Sketch、R、A（restricted-200协议）及Stanford Cars、Food-101。
  • 模型：CLIP、OpenCLIP、SigLIP的ViT-B/16，规模阶梯测试base到XL。
  • 一致性分数：LAC/THR、APS、RAPS；SigLIP分别用原生sigmoid和softmax归一化。
  • 修复方法：source-Mondrian、clustered conformal、Conf-OT、选择性预测、目标标签oracle。

关键结果与论文证据

  • ImageNet-Sketch上APS边际覆盖≈0.86（目标0.90），10–12%类别低于0.70有限样本null下限，最差类别覆盖为0（第6页，图1）。
  • Sketch上41–44%类别低于0.90目标，底部5%类别覆盖0.52–0.57（第6页）。
  • per-class覆盖与目标准确率Spearman ρ=0.68–0.72，与源域准确率ρ=0.06–0.19（第7页，图2）。
  • 源域per-class APS阈值与目标oracle阈值Spearman ρ=0.09–0.20，55%类别需要更大目标阈值（第8页，图3）。
  • Conf-OT将Sketch边际覆盖从≈0.86恢复至0.89–0.90，CCV gap减半（CLIP 0.068→0.037），但最差类别覆盖仍为0.00（第9页，图4）。
  • APS-marginal平均集合大小：CLIP 11.5(ID)/26.7(Sketch)，OpenCLIP 5.5/14.1，SigLIP(softmax) 5.0/9.3，差距2–3×（第10页，表1）。
  • SigLIP原生sigmoid下APS集合大小膨胀至721(V2)/940(Sketch)类，softmax归一化后降至≈5–27（第11页，表2）。
  • 目标Mondrian oracle将最差类别提升至0.75，但15标签/类仅达≈0.53，≤5标签/类时阈值为无穷（全集）（第12页，表3）。
  • 规模提升准确率（CLIP 0.48→0.61）但below-null类别比例保持10–13%（第13页，图5）。
  • Stanford Cars上CLIP边际覆盖0.90但最差类别0.18（null floor 0.56），无偏移即出现gap（第24页）。

阅读时需要注意

  • ImageNet-val每类仅约50张校准图，per-class阈值统计分辨率受限。
  • 每层规模仅测试单一checkpoint，家族结论限于所测代表。
  • 所有编码器均为ViT-based，卷积骨干未测试。
  • 修复结论限于所测的全输入、无目标标签或未标记目标方法；重训练/自适应方法超出范围。
  • 选择性预测的保留覆盖仅为经验性，非有限样本保证。
  • 源域不可见性结论限于所测诊断，非所有非线性预测器的不可能性结果。

关联工作

  • Conf-OT（Silva-Rodríguez et al., CVPR 2025）：转导最优传输修复，恢复边际覆盖但不修复最差类别尾部；本文复现并扩展其评估。
  • Kasa & Taylor（arXiv:2307.01088）：在ViT/ConvNeXt分类器上报告相同边际-类别条件覆盖模式，佐证本文Sec. 4.2。
  • Clustered conformal（Ding et al., NeurIPS 2023）：类条件conformal的稀疏缓解方法；本文测试其无法修复偏移下尾部。
  • Mondrian calibration（Vovk, ACML 2012）：per-class校准提供类别条件保证；本文展示源侧Mondrian在偏移下不迁移。
  • Weighted CP（Tibshirani et al., NeurIPS 2019）：协变量偏移下的边际覆盖方法；是否改善类别尾部留待未来工作。

发表评论