论文代表图：figure-01-p002-01

记忆构成无法告诉我们关于异常检测的什么：覆盖选择器为何偏爱污染，以及最干净的记忆为何不是最优

作者

快速导读：本文通过稀疏训练污染探针揭示全局覆盖选择器会强烈过度保留污染patch，提出CLEANCON图像级过滤方法将记忆污染降至近零并提升P-AP，但发现最干净的记忆并非性能最优。

本文针对记忆型异常检测器的一个被忽视的假设提出质疑：为覆盖而选中的训练patch是否天然值得信任？作者通过稀疏训练污染探针发现，全局覆盖选择器会强烈过度保留污染patch，放大系数可达数十倍。这一现象源于覆盖目标对离群点的固有敏感性，而被选中的中心不会在后续优化中消失，而是直接留在部署检测器中作为正常证据。

论文提出CLEANCON，一种受控干预方法，通过out-of-bag跨图像投影残差对训练图像打分并过滤，将记忆污染降至近零，同时在全部12个dataset–representation–fold宏比较中提升P-AP。然而，retention sweep揭示了一个反直觉的发现：最干净的记忆并非性能最优，保留80%最低分图像的记忆在全部比较中超过保留50%的设置。

英文题目：What Memory Composition Does Not Tell Us About Anomaly Detection

论文出处：arXiv 每日论文精选 · arXiv:2608.23295

原始论文：PDF / 论文页面

这篇论文解决什么问题？

PatchCore等记忆型异常检测器使用近似贪心coreset选择训练patch作为正常参考。选择的目标是最大化覆盖，即让记忆中的patch在特征空间上尽可能均匀地代表训练分布。但覆盖目标对离群点敏感这一事实在k-center和鲁棒聚类文献中早已为人所知：离群点因为孤立而容易被优先选中。

在记忆型异常检测中，这个问题的后果比传统聚类更严重。在聚类中，被选中的中心还会经过后续优化，离群点可能被调整或丢弃。但在记忆型检测器中，被选中的patch直接成为推理时的正常参考，没有后续修正机会。这意味着选择器的偏差会直接转化为检测器的系统性缺陷。

论文通过注入名义5%的图像级污染来探测这一缺陷。在MVTec AD和VisA数据集上，使用WRN50/PatchCore和DINOv2/ProCon两种检测器组合，三个污染fold，No-Overlap评估协议。结果显示，Global FF选择器在1%记忆预算下，三fold平均放大系数从16.04倍到40.61倍不等，最大单个fold达到43.57倍。

更关键的是，论文用achieved-radius packing certificate证明，0.58%到6.32%的被选污染中心在达到的覆盖半径下是必需的。这意味着在覆盖目标的约束下，这些污染中心无法被简单剔除而不破坏覆盖。覆盖与可信之间的张力是结构性的，而非实现细节问题。

核心创新

  • 提出CLEANCON：一种受控干预，通过OOB跨图像投影残差进行图像级过滤，固定表示、记忆大小、构建器和推理规则，仅改变候选图像资格
  • 定义记忆污染放大系数AK和记忆占用率pmem，量化选择器对稀疏污染的过度保留程度
  • 通过achieved-radius packing certificate证明部分被选中的污染中心在达到的覆盖半径下是必需的
  • 通过retention sweep揭示记忆纯度与P-AP之间不存在单调关系：最干净的记忆并非性能最优

方法概览

CLEANCON通过out-of-bag跨图像投影残差对每张训练图像打分，仅保留低分图像作为候选，再交给原始记忆构建器。具体地，构建B=20个支持bank，每张图像仅用不含自身的bank计算soft投影残差，取层内OOB-bank中位数后跨深度平均，再取top 0.5% patch残差均值作为图像分数，保留分数不高于类别中位数的图像。表示、绝对记忆大小K、构建器和推理规则均保持不变。

  • CLEANCON的核心思想是：在记忆构建之前，先对训练图像进行图像级过滤，只保留低分图像作为候选池，再交给原始记忆构建器。表示、绝对记忆大小K、构建器和推理规则均保持不变。
  • 具体实现上，构建B=20个支持bank。对于每张训练图像，只用不含该图像的bank计算soft投影残差，即out-of-bag评估。这样避免了图像自身对自身投影的过拟合。
  • 对每个深度层，取该图像在所有out-of-bag bank上的soft投影残差的中位数，然后跨深度平均，得到该图像的初始分数。
  • 取图像中top 0.5% patch残差的均值作为最终图像分数。这个设计聚焦于图像中最异常的局部区域，而不是整图平均。
  • 保留分数不高于类别中位数的图像作为候选池。这个阈值是类别自适应的，不引入额外的全局超参数。
  • CLEANCON与SoftPatch-style控制形成对比：SoftPatch使用patch级离群分数调整记忆构建和推理，而CLEANCON只在图像级过滤候选资格，推理规则完全不变。

逐图理解论文

一个具体的失败案例

一个具体的失败案例
Figure 2 compares contamination amplification across memory budgets and selectors. At a 1% budget, the three-fold mean amplification of Global FF ranges from 16.04× to 40.61× across the four dataset–representation settings; the largest individual fold reaches 43.57×.

左图展示不同选择器在0.1%到10%记忆预算下的污染放大系数曲线，Global FF的曲线显著高于其他选择器。右图展示1%预算下各选择器的fold-0控制结果，random控制使用20次重复。观察重点是Global FF在低预算下的极端放大。

CLEANCON：受控干预而非新检测器

CLEANCON：受控干预而非新检测器
Table 1: Three-fold matched unfiltered-to-CLEANCON comparison.

这张表展示三fold匹配的未过滤与CLEANCON对比。关注点是CLEANCON在全部12个比较中提升P-AP，同时将记忆污染降至近零。

最干净的记忆并非最优

最干净的记忆并非最优
Figure 3: The cleanest memory does not attain the highest P-AP. The left axis shows the change in category-macro P-AP relative to R50 for the four dataset–representation settings and their mean. The right axis shows the setting mean of pooled pmem. R80 exceeds R50 in all 12 comparisons, and contamination is also higher in 11 of them.

这张图直观展示了retention sweep的核心发现：左轴是相对R50的P-AP变化，右轴是pooled记忆污染。R80在全部12个比较中超过R50，且污染在11个比较中更高。

实验如何设计？

  • 数据集：MVTec AD的15个类别和VisA的12个类别，注入名义5%的图像级污染，三个污染fold，No-Overlap评估协议。
  • 检测器组合：WRN50/PatchCore和DINOv2/ProCon两种scaffold，覆盖不同表示和推理规则。
  • 选择器比较：random、medoid、Local FF、Global FF在0.1%到10%嵌套记忆预算下的污染放大系数。
  • 匹配比较：CLEANCON与未过滤baseline在固定K=1%候选池下的三fold对比。
  • retention sweep：保留最低分R∈{50,60,70,80,90}%的图像，比较P-AP与pooled记忆污染。
  • 正常源扩展控制：增加正常源图像数量但不提升P-AP，用于排除数据量效应。

关键结果与论文证据

  • {'text': 'Global FF在1%预算下三fold平均放大系数为16.04×–40.61×，最大单个fold达43.57×，证明全局覆盖选择器对稀疏污染有强烈的过度保留倾向。', 'page': 4}（第 4 页）
  • {'text': 'CLEANCON将最终记忆污染降至约0%：MVTec–WRN50为0.000%，MVTec–DINOv2为0.000%，VisA–WRN50为0.003%，VisA–DINOv2为0.002%。', 'page': 7}（第 7 页）
  • {'text': 'CLEANCON在全部12个dataset–representation–fold宏比较中提升P-AP，三fold平均增益分别为+3.438、+3.231、+0.380、+4.319点。', 'page': 7}（第 7 页）
  • {'text': 'R80在全部12个比较中超过R50，三fold平均差异为+0.929、+0.521、+0.875、+2.293点；其中11个比较中R80污染更高。', 'page': 7}（第 7 页）
  • {'text': 'achieved-radius packing certificate直接证明0.58%–6.32%的被选污染中心在达到的覆盖半径下是必需的。', 'page': 5}（第 5 页）
  • {'text': '正常源扩展控制将Rsrc提升20.88个百分点，P-AP变化为−0.137±0.024点，说明单纯增加正常源图像数量不能解释CLEANCON的增益。', 'page': 8}（第 8 页）
  • {'text': '在No-Overlap协议下与InReaCh、SoftPatch、FUN-AD对比，CLEANCON–DINOv2在MVTec上I-AUROC=99.147、P-AP=72.255、AUPRO=95.770；在VisA上I-AUROC=97.712、P-AP=49.522、AUPRO=96.861。', 'page': 9}（第 9 页）
  • {'text': 'VisA–WRN50设置下CLEANCON的P-AP低于SoftPatch-style控制（40.061 vs 41.495），说明图像级过滤并非在所有设置下都优于patch级方法。', 'page': 9}（第 9 页）

阅读时需要注意

  • CLEANCON改变候选图像资格，但如何在不过滤稀有有效patch的同时排除异常anchor仍待解决。
  • achieved-radius certificate仅直接覆盖0.58–6.32%的被选污染中心，其余污染中心的必要性未被证明。
  • retention sweep仅在五个操作点（R50–R90）上以固定超参数评估，操作点之间的行为未被探索。
  • VisA–WRN50设置下CLEANCON的P-AP低于SoftPatch-style控制，说明方法在不同scaffold上的鲁棒性有限。

关联工作

  • PatchCore是记忆型异常检测的基线方法，使用近似贪心coreset进行记忆构建。本文在其WRN50/PatchCore scaffold上进行干预，因此结论直接适用于该广泛使用的方法。
  • SoftPatch使用patch级离群分数调整记忆构建和推理，是噪声训练方法。本文实现其单判别器版本作为对照，以区分图像级过滤与patch级调整的效果。
  • InReaCh使用跨图像支持的噪声鲁棒异常检测，FUN-AD迭代重建记忆bank，两者都在No-Overlap协议下与CLEANCON对比。
  • MeDS从bootstrap部分记忆中蒸馏分数，代表了另一种处理记忆噪声的思路，但本文未直接对比。

发表评论