论文代表图：figure-01-p010-01

显著性模型真的学会了看人吗：一个空白中心图为何胜过所有训练网络

作者

快速导读：该研究从受众侧审计了主流显著性模型，发现一个无训练的中央高斯图在新闻照片上胜过所有训练网络，且模型剩余精度存在年龄、种族和意识形态偏见，并提出用群体凝视签名判断哪些受众可被模型学习。

计算机视觉的显著性模型长期以每张图一张预测图替代真实观众测量，其核心经验主张——图像内容可预测注视位置、单一预测对所有观众同样有效——几乎完全建立在实验室基准上。本文从受众侧发起审计：招募3023名按全国配额抽样的美国成年人，用网络摄像头眼动追踪记录他们观看83张Getty Images新闻照片的1140万原始注视样本，对四个深度网络和两个经典检测器进行系统检验。

核心发现令人不安：一个无训练、无参数的中央高斯图在新闻照片上胜过所有训练模型，而模型在移除中心习惯后仅比空白中心图高出极薄的边际。更关键的是，模型剩余精度存在年龄、种族和意识形态偏见。论文据此提出群体凝视签名，作为判断哪些受众可被模型学习的先验准则，并在独立博物馆语料上外部验证。

英文题目：Human versus Computer Vision

论文出处：arXiv 每日论文精选 · arXiv:2608.10181

原始论文：PDF / 论文页面

这篇论文解决什么问题？

显著性模型已从实验室进入广告、界面设计、驾驶辅助、临床诊断和社交平台裁剪等商业决策。然而训练语料如MIT1003和SALICON几乎不记录观察者人口属性，最大语料甚至以鼠标代替眼动。社会科学研究早已表明注视存在稳定的个体与群体差异，包括文化、年龄和政治态度，但这些差异从未进入显著性模型的评估体系。

本文指出两个未被审计的经验主张：其一，图像内容可预测注视位置；其二，单一预测对所有观众同样有效。这两个主张在实验室基准上看似成立，但在真实流通图像和多样化受众上从未被检验。实验室基准的中心集中度远高于新闻照片——MIT1003中央圈注视占比0.674，而新闻照片仅0.461，这意味着实验室成绩可能大量来自中心习惯而非内容理解。

研究设计的关键在于区分两种分数：raw score以均匀随机点为比较点，衡量部署场景下的预测能力；center-corrected score以其他图像注视点为比较点，移除中心习惯后衡量内容知识。这一区分使论文能够分离中心先验的免费贡献与模型真正学到的内容。

核心创新

  • 首次从受众侧、以全国配额样本和真实流通新闻照片审计主流显著性模型，而非实验室基准
  • 区分raw score与center-corrected score，将中心先验的免费贡献与模型学习内容分离
  • 提出群体凝视签名（group gaze signature）作为判断某群体是否可被模型学习的先验准则，并在独立NEMO博物馆语料上外部验证
  • 构建真实观众参考面板（panel of real viewers），量化任何预测器在该材料上的可达上限
  • 提出将学习内容作为中心先验上的加权校正（weighted correction）的部署方案

方法概览

招募3023名按全国配额抽样的美国成年人，用WebGazer网络摄像头眼动追踪记录其观看83张Getty Images新闻照片的1140万原始注视样本（61458次观看），对四个深度网络（DeepGazeIIE、TranSalNet-Dense/Res、UNISAL）和两个经典检测器（Spectral Residual、Fine-Grained）计算raw score（均匀比较点AUC）和center-corrected score（shuffled AUC），并以固定效应和按参与者聚类标准误估计群体差距；构建真实观众参考面板、群体凝视签名（difference of differences）和观众条件化读出器（VGG-16特征+可训练两层读出头）。

  • 招募3023名按全国配额抽样的美国成年人，用WebGazer网络摄像头眼动追踪记录其观看83张Getty Images新闻照片的1140万原始注视样本，共61458次观看。
  • 对四个深度网络（DeepGazeIIE、TranSalNet-Dense/Res、UNISAL）和两个经典检测器（Spectral Residual、Fine-Grained）计算raw score和center-corrected score。
  • 构建真实观众参考面板：由同一照片其他真实观众注视构建的预测图，量化任何预测器在该材料上的可达上限。
  • 以固定效应和按参与者聚类标准误估计年龄、种族、意识形态极端性等社会轴上的群体差距，并进行规格电池稳健性检验。
  • 提出群体凝视签名：群体自身池对自身观众的预测优势减去对外群体的优势，作为判断某群体是否可被模型学习的先验准则。
  • 构建观众条件化读出器：在冻结VGG-16特征上按群体注视训练轻量两层读出头，在24张留出照片上做迁移实验。
  • 提出部署方案：将学习内容作为中心先验上的加权校正，以网络与中心先验混合的方式提升raw score。
  • 进行测量误差分析：稳定偏移减法、误差分位数排序、实验室注视退化模拟，排除网络摄像头精度对主要结论的解释。

逐图理解论文

一个令人不安的失败案例

一个令人不安的失败案例
Table 2. A blank central map outperforms every trained model on circulating news pho- tographs, and the same pipeline reproduces the laboratory benchmark those models are ranked on.

这张表展示新闻照片上中央高斯图raw score 0.715超过所有训练模型，同时同一pipeline在MIT1003上复现了实验室排名。重点观察两列分数的对比：实验室基准上模型大幅领先，新闻照片上却被空白中心图反超，说明实验室成绩大量来自中心习惯。

研究缺口：两个从未被审计的主张

研究缺口：两个从未被审计的主张
Table 1. The deep models are center-driven and the classical models are contrast-driven.

问题的根源在于显著性领域有两个从未被审计的经验主张：图像内容可以预测注视位置，以及单一预测对所有观众同样有效。这两个主张几乎完全建立在实验室基准上，而实验室基准的中心集中度远高于真实流通图像。当研究者用全国配额样本和真实新闻照片重新检验时，实验室里的高分数大量来自中心习惯，而非内容理解。

论文的贡献：受众侧审计与群体签名

论文的贡献：受众侧审计与群体签名
Table 4. Every model adds a thin margin over a pure center map, and a panel of 256 real viewers reaches no further.

这张表展示center-corrected score下模型仅比中心图高0.032–0.051，而256人真实观众面板达到0.550，UNISAL达0.553。重点看panel b与panel a的差异：评估注视集不同导致水平不可跨表比较，但共同结论是模型边际增益极薄。

部署方案：学习内容作为加权校正

部署方案：学习内容作为加权校正
Table 5. The learned content earns its place as a weighted correction on a center prior.

这张表展示网络与中心先验以0.30权重混合后raw score 0.720超过裸中心图0.715。重点看混合权重列：学习内容作为加权校正而非独立预测器时，才能在实际部署中产生正收益。

实验如何设计？

  • 六模型在新闻照片（网络摄像头）与MIT1003（实验室）上的raw score对比及区域分解（Table 2、Table 3）。
  • 模型地图对四类经典注意力预测因子（中心、人物、对比度、物体尺寸）的回归（Table 1）。
  • center-corrected score下模型相对中心图的边际增益及真实观众参考面板随面板规模的变化（Table 4）。
  • 年龄、种族、意识形态极端性等社会轴上的群体差距估计及规格电池稳健性检验。
  • 群体凝视签名测量及NEMO博物馆语料外部验证（Figure 2a）。
  • 观众条件化读出器在24张留出照片上的迁移实验（Figure 2b）。

关键结果与论文证据

  • 中央高斯图raw score 0.715，超过所有训练模型（深度网络0.682–0.692，经典检测器0.549–0.566），第8页。
  • 留出观众面板raw score 0.734，仅比空白中心图高0.019；中心图已提供观众可达范围的92%，第8页。
  • MIT1003上DeepGazeIIE达0.905，中心图0.828，留出观众0.912，说明实验室基准的中心集中度掩盖了模型的内容理解不足，第9页。
  • center-corrected score下模型仅比中心图高0.032–0.044（raw samples）和0.040–0.051（fixations），第10页。
  • 256人真实观众面板center-corrected score 0.550，UNISAL达0.553，相当于该面板水平，第11页。
  • 深度模型对18–34岁观众比55岁以上高0.006–0.023；对黑人观众比白人观众低0.007–0.010；意识形态极端观众比中间派低0.005–0.008，第12–13页。
  • 年龄群体签名+0.0056（raw）/+0.0072（fixations），约为标准误3倍；种族和极端性签名低于自身标准误，第15页。
  • 年轻条件化读出器在留出照片上自身群体优势+0.005（p=0.007），反向优势缺失，第15页。
  • 约13名真实观众即可达到最强网络的预测水平，第16页。
  • 网络与中心先验以0.30权重混合后raw score 0.720，超过裸中心图0.715，第16页。

阅读时需要注意

  • 研究止步于识别可学习群体，未交付一个能良好预测特定群体的模型。
  • 种族和意识形态极端性轴上共享结构低于估计不确定性，无法区分是群体行为本身还是当前估计方法的局限。
  • 网络摄像头精度（3.68度）远低于研究级眼动仪（0.76度），尽管误差分析排除了其对主要结论的解释。
  • 样本年龄分布偏离全国配额（18–34岁仅10.4%），可能影响年龄相关估计。
  • 刺激为政治敏感新闻照片，结论对中性或非新闻图像的推广性有限。

关联工作

  • Judd et al., 2009（MIT1003）作为实验室基准语料，本文用其作为对照验证pipeline并揭示其中心集中度更高。
  • Huang et al., 2015（SALICON）是深度模型主要训练语料，以鼠标代替眼动，缺乏观察者人口信息。
  • Strauch et al., 2023（NEMO）博物馆眼动语料用于群体签名外部验证，年龄效应约为本文两倍。
  • Abawi et al., 2024统一动态扫描路径模型优于单独训练模型，本文用群体签名逻辑解释该结果。
  • Gutiérrez et al., 2021（Saliency4ASD）是群体特定显著性建模唯一明确成功案例，其成功因自闭症观众注视具有自身签名。
  • Yee et al., 2021对Twitter图像裁剪系统的审计发现显著点在不同性别和种族间分布不均。

发表评论