三分钟导读:本文提出PIXAR-DG,通过平衡采样、晚期注入和低学习率策略,实现跨现代视觉语言模型(VLM)的鲁棒像素级篡改检测。
英文题目:Simple Domain Generalization for Strong Pixel-Level Image Tampering Detection in Modern VLMs
论文出处:arXiv 每日论文精选 · arXiv:2607.18230
原始论文:PDF / 论文页面
对应视频标题:PIXAR-DG:现代VLM像素级篡改检测的跨域泛化突破|推荐指数:★★★★★
这篇论文解决什么问题?
现代VLM生成的图像篡改检测面临严重的跨模型域偏移(Domain Shift),现有方法易过拟合特定生成器的伪影,缺乏跨域泛化能力。
核心创新
- 平衡Mini-batch采样策略,确保每个优化步骤获得可控的正负监督信号。
- 晚期注入(Late Injection)策略,解决新域数据稀缺导致的过拟合问题。
- 低学习率常数调度,提升跨域鲁棒性和像素级定位稳定性。
- 验证Qwen-Image作为基础源和Gemini-2.5作为补充源的最佳组合。
方法概览
提出PIXAR-DG训练框架,包含:1) 平衡的Real-vs-Tampered Mini-batch采样,防止优化偏差;2) 晚期注入机制,先在大基数数据集上训练,再注入少量新域数据;3) 低学习率适应调度,保留基础特征并适应新域。
逐图理解论文
方法概述:PIXAR-DG框架

本文提出PIXAR-DG训练框架,旨在实现跨现代VLM的鲁棒像素级篡改检测。该框架包含三个核心组件:平衡的Real-vs-Tampered Mini-batch采样、晚期注入机制以及低学习率适应调度。这些组件协同工作,确保模型在保持基础特征的同时适应新域。
结果:像素级定位性能提升

实验结果显示,PIXAR-DG-7B在OOD生成器上的平均gIoU为0.176,cIoU为0.201,相比PIXAR-7B分别提升21.4%和21.1%。PIXAR-DG-13B在OOD生成器上的平均gIoU为0.222,cIoU为0.232,相比PIXAR-13B分别提升26.1%和26.8%。
结果:二分类准确率显著提升

在二分类任务上,PIXAR-DG-7B在OOD生成器上的平均准确率为79.6%,相比PIXAR-7B提升10.0%。PIXAR-DG-13B在OOD生成器上的平均准确率为84.0%,相比PIXAR-13B提升25.0%。这表明PIXAR-DG在跨域检测任务中具有显著优势。
消融实验:策略有效性验证

消融实验验证了采样、注入、学习率策略的有效性。表7显示,移除任一组件均导致性能下降。特别是晚期注入和低学习率策略,对跨域泛化贡献显著。平衡采样策略也确保了训练过程的稳定性,避免了优化偏差。
数据效率与源域组合研究

研究还发现,使用仅19.2%的原始PIXAR训练数据(73K样本),PIXAR-DG即可达到优于全量数据训练基线的效果。源数据组成研究表明,Qwen-Image作为基础源和Gemini-2.5作为补充源的最佳组合,能最大化跨域泛化性能。
实验与关键结果
- 在PIXAR基准上评估,测试集包含Qwen-Image, Gemini-2.5 (ID) 及 GPT-Image-2.0, Gemini-3.1, FLUX.2, Seedream 4.5 (OOD)。
- 与SOTA方法PIXAR, SIDA, LISA进行对比。
- 消融实验验证采样、注入、学习率策略的有效性。
- 源数据组成研究及不同数据规模的影响分析。
- PIXAR-DG-7B在OOD生成器上的平均gIoU为0.176,cIoU为0.201,相比PIXAR-7B分别提升21.4%和21.1%。(第 6 页)
- PIXAR-DG-13B在OOD生成器上的平均gIoU为0.222,cIoU为0.232,相比PIXAR-13B分别提升26.1%和26.8%。(第 6 页)
- PIXAR-DG-7B在OOD生成器上的平均二分类准确率为79.6%,相比PIXAR-7B提升10.0%。(第 7 页)
- PIXAR-DG-13B在OOD生成器上的平均二分类准确率为84.0%,相比PIXAR-13B提升25.0%。(第 7 页)
- 使用仅19.2%的原始PIXAR训练数据(73K样本),达到优于全量数据训练基线的效果。(第 6 页)
阅读时需要注意
- 性能依赖于源域数据的多样性和质量,极端OOD偏移下可能失效。
- 晚期注入需要少量新域标注数据,对于闭源或新发布模型可能难以获取。
- 主要改进训练策略而非模型架构,上限受限于底层分割模型的能力。
- 实验结果基于特定测试集分布,实际部署中需关注不同文化或对象类别的偏差。
- 检测器可能被用于对抗性攻击研究,需警惕双重用途风险。
关联工作
- PIXAR [22]:基线方法,提供像素级定位基准,但仅针对单一生成器训练,跨域泛化弱。(第 2 页)
- SIDA [10]:基线方法,基于多模态模型,但依赖粗粒度掩码,像素级定位精度较低。(第 2 页)
- LISA [13]:基线方法,主要面向分割,二分类能力弱,在篡改检测任务中表现较差。(第 6 页)
展开:论文全文中文翻译
以下译文用于快速探索和学习,技术术语按需要保留英文;正式引用和精确表述请以原论文为准。
第 1 页
现代视觉语言模型(VLMs)中用于强像素级图像篡改检测的简单域泛化方法
Yi Tang1,⋆ Xinyi Shang1,2,⋆ Jiacheng Cui1 Sondos Mahmoud Bsharat1 Jiacheng Liu1 Xiaohan Zhao1 Tran Dinh Tien1 Ahmed Elhagry1 Salwa K. Al Khatib1 Tianjun Yao1 Yonina C. Eldar3 Jing-Hao Xue2 Hao Li1 Salman Khan1 Zhiqiang Shen1,†
1 穆罕默德·本·扎耶德人工智能大学 2 伦敦大学学院 3 魏茨曼科学研究所 ⋆ 同等贡献 † 通讯作者
摘要 现代视觉语言模型(VLMs)显著提升了图像生成和编辑能力,使得在跨模型和分布外(OOD)偏移下的像素级图像篡改检测变得日益重要且具有挑战性。本研究探讨了在现代 VLMs(如 ChatGPT、Gemini、Qwen-Image 等)中进行像素级图像篡改检测的域泛化问题,旨在学习能够在 diverse VLM 生成的篡改分布中保持鲁棒的篡改定位模型。我们提出了一种简单而有效的域泛化训练框架,该框架基于两种实用策略。首先,我们引入了一种平衡的小批量采样方案,该方案在每个小批量中有策略地采样篡改图像和真实图像,防止优化过程偏向于篡改伪影或干净图像先验,并避免训练崩溃1,确保每个优化步骤都能接收到适当的采样梯度信号。其次,我们采用了一种简单的晚期注入(Late Injection)策略,即首先在大规模基础数据上训练检测器直至稳定收敛,然后将其暴露于少量来自新兴 VLM 分布的新选支持数据中,从而在不发生过拟合的情况下提高适应性。综上所述,这些组件提供了一种简单而强大的方案,用于提升现代 VLMs 的像素级篡改定位能力和 OOD 鲁棒性。尽管概念简单,但我们的框架在 GPT-Images-2.0、Gemini-3.1、FLUX.2 和 Seedream 4.5 等 OOD VLMs 上,平均 gIoU 和 cIoU 分别比先前的最先进方法 PIXAR 大幅提升了 26.1% 和 26.8%。我们的代码可在 https://github.com/VILA-Lab/PIXAR-DG 获取。
1 引言 现代视觉语言模型(VLMs)[28, 5, 29] 迅速推进了图像生成和编辑技术,使用户能够以越来越逼真的结果操纵局部视觉内容。虽然这些功能在创意应用中很有用,但也引发了对视觉虚假信息、内容真实性和取证验证的严重担忧。在此背景下,像素级图像篡改检测 [22] 尤为重要,因为它不仅预测图像是否被篡改,还能定位确切的篡改区域。
1 我们经常在未使用所提出的采样策略时观察到这种行为,并在我们的实验中对其进行了分析。
预印本。
第 2 页
然而,在真实世界的部署条件下,鲁棒的像素级篡改检测仍然具有挑战性。现代 VLM 在架构、训练数据、编辑接口、生成流程以及后处理行为方面存在显著差异,导致来自不同模型的篡改图像之间出现巨大的域偏移。因此,在一个或几个源 VLM 上训练的检测器可能会过拟合到特定模型的伪影,并在面对未见过的 VLM 时失效,特别是当目标分布来自新发布或闭源模型时。
本研究探讨了现代 VLM 中像素级图像篡改检测的域泛化问题,引入了 PIXAR-DG,这是社区中一个全新的任务和问题。我们的目标是学习能够捕捉可迁移的、对域鲁棒的线索(cues)而非与特定生成器或编辑域相关的表面伪影的篡改定位模型。为此,我们专注于实用的训练策略,这些策略在保持实现简单且与现有基于分割的篡改检测器兼容的同时,提高了跨域鲁棒性。我们发现,精心设计的源域组合和优化调度对于 VLM 篡改检测器至关重要,并推导出了一个简单但有效的生成器无关(generator-agnostic)定位方案。
首先,我们提出了包含篡改图像和真实图像的平衡小批量训练方法。每个小批量被构建为包含操纵样本和干净样本的最佳混合,防止模型偏向于篡改伪影或真实图像先验。当与多域源数据结合使用时,该策略鼓励每个优化步骤在不同 VLM 分布下看到多样化的真实/篡改对比,从而提高跨域鲁棒性。其次,我们引入了一种晚期注入(late-injection)训练策略,用于整合少量新选择的分布。检测器首先在一个大规模基础数据集上进行训练,直到学习到足够稳定和可泛化的表示。只有在这一阶段完成后,我们才注入少量新域数据以及之前的域数据,使检测器能够适应新兴的 VLM 分布,同时避免有限的新数据主导早期特征学习或导致严重的过拟合。这对于现代 VLM 篡改检测特别有用,因为新模型的输出可能仅以少量形式可用。我们整体的训练框架提供了一个简单却强大的方案,用于提升像素级篡改定位和 OOD 鲁棒性,优于所有现有方法。
本工作的贡献如下:
- 我们提出了一种用于域泛化像素级图像篡改检测的实用训练框架。与通常过拟合于特定生成器或训练分布的域特定伪影的现有方法不同,我们的框架旨在学习可迁移的与篡改相关的线索,这些线索在跨模型和分布外(out-of-distribution)偏移下仍然有效。所提出的框架实现简单,并取得了优越的性能。
- 我们提出了一种简单的平衡真实/篡改小批量训练策略、一种针对少量新兴分布的晚期注入机制,以及一种低学习率适应调度,从而提高了现代 VLM 上的像素级定位和 OOD 鲁棒性。
- 我们的方法在各种模型和域上取得了更强的结果,且使用的训练数据显著减少。在 PIXAR 数据集上,我们的方法仅使用原始数据集规模的 19.2%,但在所有新域上持续提升了性能,与之前的最先进方法相比,gIoU 和 cIoU 的相对增益分别为 26.1% 和 26.8%。
2 相关工作
像素级图像篡改检测。图像篡改检测已从二值图像级分类 [27, 1, 26] 发展到编辑区域的细粒度定位 [3]。最近的基于 VLM 的方法,如 SIDA [10],利用多模态模型进行合成伪造检测和定位,但仍然依赖于可能无法忠实反映真实编辑痕迹的粗略掩码。PIXAR [22] 通过从原始图像和编辑图像对的逐像素差异中推导监督信号来解决这一局限性,实现了像素级接地(pixel-grounded)和语义感知的篡改检测。然而,其训练仅限于单一生成器 Qwen-Image [28],使得在现代 VLM 下的跨生成器鲁棒性在很大程度上仍未被探索。相比之下,我们的工作通过明确研究跨多样化和不断演变的 VLM 编辑分布的域泛化,旨在实现生成器无关的像素级篡改检测。
域泛化。域泛化 [30, 15] 旨在从源域学习并泛化到未见过的目标分布,而无需目标监督 [8]。现有方法
第 3 页
多域源数据 分类 头 对象 头 视觉 预测 “训练” 分割头 真实 / 篡改 解码器 域 1 (Qwen-Image) h#)* h&'( h!"# 域 2 (Gemini-2.5) 飞机被替换 <SEG> <OBJ> <CLS>
域 3 (GPT-Image-2) 大型视觉语言模型 … 输入图像 … … 𝑯𝒗 (视觉令牌) 𝑯𝒒 (语言令牌) 1) 小批量采样 用户提示 视觉 请 识别 图像是 真实还是 朴素(均匀池化) 编码器 篡改? 如果篡改: (1) 分类 哪个 对象被 篡改主导的小批量 编辑,(2) 输出预测的篡改像素。 T T R T T T T T … 2) 晚期注入优化 3) 学习率调度 偏向篡改图像
阶段 1:基础训练 阶段 2:晚期注入 学习率 原始 收敛 平衡(类型平衡) ours 相等真实/篡改比例 T T T T R R R R … 小学习率 目标:建立可靠的 目标:适应新域并 减少采样偏差 源端边界 保留基础知识 步骤
图 1:所提出训练框架的概述。我们的篡改检测器联合生成像素级篡改掩码、语义类别标签以及篡改内容的自然语言描述。训练框架集成了三个组件:1) 平衡真实与篡改的小批量采样,2) 在训练期间引入 Gemini-2.5 的晚期注入机制,以及 3) 用于像素级定位的低学习率适应调度。
通过预训练模型的受控适应 [17]、不变表示正则化 [2] 或数据平衡策略 [11] 来提高鲁棒性。然而,大多数方法是为图像级分类设计的,并未直接解决像素级篡改定位问题,即在生成器偏移下必须保留局部操作线索。相关的生成器无关的合成图像检测器利用上采样伪影 [25]、频率线索 [24]、扩散重建信号 [4] 或预训练视觉语言特征 [18],但主要关注图像级的真实与生成分类。相反,我们的工作将 VLM 生成器和编辑管道视为不断演变的域,并研究针对像素级篡改定位的跨生成器泛化。
3 我们的方法
3.1 总体训练框架
遵循基础架构 [22],我们的篡改检测器 $f_\theta$ 预测三个互补的输出:像素级篡改对数几率图 $S \in \mathbb{R}^{H \times W}$,其概率为 $M = \sigma(S)$;多标签语义对数几率向量 $z \in \mathbb{R}^{|C|}$,其预测为 $\hat{y} = \sigma(z)$;以及篡改内容的自然语言描述。如图 1 所示,不同的任务头构建在共享骨干网络的隐藏特征 $h$ 之上。我们使用五种损失来优化模型。
对于语义预测,由于一张图像中可能有多个对象被篡改,我们使用 sigmoid 交叉熵: $$ L_{sem} = – \sum_{c \in C} [y_c \log \hat{y}_c + (1 – y_c) \log(1 – \hat{y}_c)] \quad (1) $$ 其中 $y_c$ 是类别 $c$ 的真实语义标签。对于像素级定位,我们使用阈值化掩码 $M_\tau$ 通过逐像素的二元交叉熵对 $M$ 进行监督: $$ L_{bce} = – \frac{1}{HW} \sum_{i,j} [M_\tau(i, j) \log M_{ij} + (1 – M_\tau(i, j)) \log(1 – M_{ij})] \quad (2) $$ 我们进一步添加 DICE 损失 [23] 以提高掩码质量: $$ L_{dice} = 1 – \frac{2 \sum_{i,j} M_{ij} M_\tau(i, j) + \epsilon}{\sum_{i,j} M_{ij} + \sum_{i,j} M_\tau(i, j) + \epsilon} \quad (3) $$
3
第 4 页
其中 $\varepsilon$ 用于确保数值稳定性。
为了在全局范围内区分真实图像和篡改图像,我们使用基于 $\langle \text{CLS} \rangle$ 的检测头。给定最后隐藏状态 $H_{\text{hid}} \in \mathbb{R}^{N \times d}$,我们提取 $h_{\text{cls}} = H_{\text{hid}}[\text{CLS}]$ 并计算: $$ u = F_{\text{cls}}(h_{\text{cls}}) \in \mathbb{R}^2, \quad \hat{p} = \text{softmax}(u), \quad L_{\text{cls}} = L_{\text{CE}}(\hat{p}, d), \quad (4) $$ 其中 $d$ 是真实或篡改的一热标签。对于解释生成,我们训练一个以图像 $I$ 和提示 $P$ 为条件的多模态因果语言模型:
$$ L_{\text{text}} = – \sum_{i=1}^{L} \log p_{\phi}(t^*_i \mid t^*_{<i}, I, P), \quad (5) $$ 其中 $T^* = (t^*_1, \dots, t^*_L)$ 是目标篡改描述。 最终目标函数结合了所有任务损失:
$$ L_{\text{total}} = \lambda_{\text{sem}}L_{\text{sem}} + \lambda_{\text{bce}}L_{\text{bce}} + \lambda_{\text{dice}}L_{\text{dice}} + \lambda_{\text{cls}}L_{\text{cls}} + \lambda_{\text{text}}L_{\text{text}}. \quad (6) $$
其中 $\lambda$ 项用于平衡语义识别、像素定位、图像级检测和语言解释。除非另有说明,我们使用 $\tau = 0.05$ 按照 PIXAR [22] 构建 $M_\tau$。
3.2 小批量采样
域泛化像素级篡改检测的一个关键挑战是,训练数据在域和图像类型之间通常高度不平衡。设多域训练集表示为: $$ \mathcal{D} = [\mathcal{D}^{(k)}]_{k=1}^{K}, \quad (7) $$ 其中 $\mathcal{D}^{(k)}$ 是第 $k$ 个域,对应于由特定 VLM 生成或编辑的图像,具有独特的编辑流程或数据分布。每个域都包含真实图像和篡改图像:
$$ \mathcal{D}^{(k)} = \mathcal{D}^{(k)}_{\text{real}} \cup \mathcal{D}^{(k)}_{\text{tamp}}, \quad \mathcal{D}^{(k)}_{\text{real}} \cap \mathcal{D}^{(k)}_{\text{tamp}} = \emptyset. \quad (8) $$
对于每个样本 $(I, M, y, d, \text{Text}) \in \mathcal{D}$,$I$ 是输入图像,$M$ 是像素级篡改掩码,$y$ 表示语义篡改标签,$d \in \{\text{real, tampered}\}$ 是图像级标签,$\text{Text}$ 是可选的篡改描述。
一种朴素采样策略从合并的数据集中抽取一个小批量 $\mathcal{B}$:
$$ \mathcal{B} \sim \text{Uniform}(\mathcal{D}_d). \quad (9) $$
然而,这使得经验小批量分布与真实图像和篡改图像的原始数据集大小成正比: $$ p_{\text{naive}}(\text{real or tamp}) = \frac{|\mathcal{D}^{(k)}_d|}{|\mathcal{D}^{(k)}_{\text{real}}| + |\mathcal{D}^{(k)}_{\text{tamp}}|}. \quad (10) $$ 当真实图像和篡改图像不平衡时,模型可能会过拟合干净图像的先验或篡改特定的伪影。例如,真实集合通常比篡改集合小得多,优化过程由篡改图像主导。为了减少这种偏差,我们通过显式平衡图像类型来构建每个小批量。给定小批量大小 $B$,我们改为采样固定比例的真实图像和篡改图像:
$$ B_{\text{real}} = \lfloor \rho B \rfloor, \quad B_{\text{tamp}} = B – B_{\text{real}}, \quad (11) $$
其中 $\rho \in (0, 1)$ 控制真实图像的比例。该采样器诱导了有效的训练分布
$$ p_{\text{bal}}(c) = \begin{cases} \rho, & c = \text{real}, \\ 1 – \rho, & c = \text{tamp}, \end{cases} \quad (12) $$
因此,每个优化步骤都能为全局图像级检测和像素级定位提供可控的正负监督。
4
第 5 页
3.3 晚期注入优化
在实际的 VLM 篡改检测中,新出现的域 2 通常比现有的基础训练集小得多。如果从一开始就直接混合这些稀缺样本,可能会导致表征学习产生偏差,或者使模型过拟合到不稳定的域特定伪影上。因此,我们采用一种简单的晚期注入策略:首先在充足的基础域数据上训练检测器直至收敛,然后仅在训练后期注入少量新域数据。
设训练数据被划分为一个大型基础集和一个小型新域集: D = Dbase ∪Dnew, |Dbase| >> |Dnew|. (13)
标准的联合训练目标为: min Rjoint(θ) = Ex∼Dbase∪Dnew [ℓ(fθ; x)] , (14) θ 该目标从开始就使用所有域的数据。相反,我们分两个阶段优化模型。
在第一阶段,我们仅使用基础域数据进行训练: θt+1 = θt −ηt∇θRbase(θt), t < Tinj, (15)
其中 Rbase(θ) = Ex∼Dbase [ℓ(fθ; x)] , (16) Tinj 表示注入步骤。此阶段允许检测器从足够多样化的基础数据中学习稳定且可迁移的像素级篡改表征。
基础模型收敛后,我们注入新域数据,并在混合分布上继续训练: Dmix = Dbase ∪Dnew, t ≥Tinj. (17) 晚期目标变为: Rlate(θ) = (1 −α)Ex∼Dbase [ℓ(fθ; x)] + αEx∼Dnew [ℓ(fθ; x)] , (18) 其中 α ∈[0, 1] 控制新域分布的贡献。参数更新随后为: θt+1 = θt −ηlate∇θRlate(θt), t ≥Tinj. (19) 等价地,训练分布可以写为随时间变化的混合分布:
pbase(x), t < Tinj, pt(x) = (20) (1 −α)pbase(x) + αpnew(x), t ≥Tinj.
这种表述方式防止了小型新域集主导早期的特征学习,同时仍允许收敛的基础检测器吸收来自新兴分布的有用信号。
3.4 其他实用的训练技巧与配方
我们主要遵循原始的 PIXAR 训练协议,并修改学习率和调度器,以提高在我们域泛化设置下的训练稳定性。具体而言,我们将基础学习率从 1 × 10−4 降低到 2 × 10−5,这可以防止激进的参数更新,并有助于保留从多域数据中学习到的可迁移像素级线索。我们还用恒定调度器替换了原始的 warmup_decay 调度器。在原始设置中,学习率在前 100 步从 0 线性预热到 1 × 10−4,然后从第 100 步到最终训练步线性衰减。相比之下,我们的恒定调度在预热阶段后将学习率保持在 2 × 10−5,提供了更保守的优化轨迹,从而减少了对特定源域或新注入的小分布的过拟合。这种微小的修改虽然简单,但对于提高跨域鲁棒性和稳定的像素级定位非常有效。
4 实验
我们进行了广泛的实验以证明 PIXAR-DG 的有效性,实验设置详见第 4.1 节,与最先进方法的比较详见第 4.2 节,训练源选择的分析详见第 4.3 节,以及带有可视化的消融研究详见第 4.4 节。
2这些域由新发布的先进 VLM 生成的图像组成。
5
第 6 页
表 1:在四种 OOD 生成器上的像素级定位结果。“Avg.”表示在四个生成器上的平均结果。粗体表示最佳结果,下划线表示次佳结果。
| Method | Pixel Recall | Pixel F1 | Per-generator gIoU (GPT-Image-2.0) | Per-generator gIoU (Gemini-3.1) | Per-generator gIoU (FLUX.2) | Per-generator gIoU (Seedream 4.5) | Per-generator gIoU (Avg.) | Per-generator cIoU (GPT-Image-2.0) | Per-generator cIoU (Gemini-3.1) | Per-generator cIoU (FLUX.2) | Per-generator cIoU (Seedream 4.5) | Per-generator cIoU (Avg.) | | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | | LISA-7B [13] | 1.30 | 2.54 | 0.014 | 0.018 | 0.009 | 0.012 | 0.013 | 0.015 | 0.021 | 0.007 | 0.012 | 0.014 | | SIDA-7B [10] | 33.71 | 27.42 | 0.147 | 0.164 | 0.186 | 0.155 | 0.163 | 0.145 | 0.156 | 0.194 | 0.142 | 0.159 | | PIXAR-7B [22] | 25.77 | 28.49 | 0.155 | 0.161 | 0.170 | 0.150 | 0.159 | 0.159 | 0.161 | 0.184 | 0.161 | 0.166 | | PIXAR-DG-7B | 45.11 | 33.29 | 0.189 | 0.195 | 0.222 | 0.166 | 0.193 | 0.199 | 0.187 | 0.243 | 0.176 | 0.201 | | LISA-13B [13] | 3.06 | 5.73 | 0.026 | 0.038 | 0.021 | 0.029 | 0.028 | 0.028 | 0.045 | 0.020 | 0.032 | 0.031 | | SIDA-13B [10] | 16.84 | 21.25 | 0.110 | 0.134 | 0.119 | 0.116 | 0.120 | 0.113 | 0.136 | 0.117 | 0.109 | 0.119 | | PIXAR-13B [22] | 33.49 | 30.95 | 0.177 | 0.188 | 0.182 | 0.157 | 0.176 | 0.184 | 0.185 | 0.194 | 0.170 | 0.183 | | PIXAR-DG-13B | 62.19 | 37.42 | 0.201 | 0.198 | 0.293 | 0.197 | 0.222 | 0.210 | 0.195 | 0.318 | 0.206 | 0.232 |
4.1 实验设置
训练和测试数据集详情。 我们在 PIXAR 基准 [22] 上构建我们的训练集和测试集。PIXAR 包含一个由 Qwen-Image VLMs [28] 生成的 380K 篡改图像的训练集,以及由六个生成器产生的测试集:Qwen-Image、GPT-Image-1.5 [19]、Gemini-3 [6]、Flux.2 [12]、Seedream-4.5 [21] 和 Gemini-2.5 [5]。PIXAR 的更多细节见附录 C.1。
我们从两个域源构建训练集。基础源是从 PIXAR 训练集中采样的 70K 子集 Qwen-Image 篡改图像。我们选择 Qwen-Image,因为它是开源生成器,并且在所有候选基础源中,它产生了最强的跨生成器泛化能力(见第 4.3 节)。为了进一步提高对生成器偏移的鲁棒性,我们仅添加了来自 PIXAR Gemini-2.5 测试池保留分区中的 3K Gemini-2.5 [5] 篡改图像 3。选择 Gemini-2.5 作为新域源,是因为它在所有候选伴随生成器中提供了最大的 OOD 改进(见第 4.3 节)。因此,我们最终的训练集包含 73K 篡改图像,仅占原始 PIXAR 训练规模的 19.2%,同时保持了对未见生成器的强大泛化能力。除非另有说明,我们设置 $\rho = 0.5$,因此每个小批量包含相同数量的真实图像和篡改图像。
对于测试集,我们使用排除 Gemini-2.5 训练子集后剩余的 PIXAR 多生成器测试数据。为了更好地评估近期生成器下的泛化能力,我们调整了 PIXAR 测试协议,排除了 GPT-Image-1.5 和 Gemini-3 子集,并纳入了来自较新生成器的样本,包括 GPT-Image-2.0 [20] 和 Gemini-3.1 [7]。在此协议下,Qwen-Image [28] 和 Gemini-2.5 [5] 作为域内 (ID) 生成器,而其余四个模型 GPT-Image-2.0 [20]、Gemini-3.1 [7]、FLUX.2 [12] 和 Seedream 4.5 [21] 被保留并视为训练期间未见的分布外 (OOD) 生成器。我们最终测试分布的详细统计信息报告在附录 C.2 的表 8 中。
基线和指标。 我们将三种强基线方法进行比较,包括 (1) PIXAR [22],当前的像素级检测最先进方法;(2) SIDA [10];以及 (3) LISA [13]。对于每个基线,我们都包含 7B 和 13B 变体。遵循 PIXAR [22] 的评估协议,我们使用 gIoU 和 cIoU 评估像素级定位的整体像素级准确性。我们还报告了二分类真实与篡改的准确率。为了明确评估跨生成器泛化能力,我们额外评估了两个生成器级指标:ID 平均准确率和 OOD 平均准确率。
实现细节。 我们通过 LoRA [9] 采用参数高效微调,秩 $r = 8$,缩放因子 $\alpha = 16$,丢弃率为 0.05。在训练期间,CLIP 视觉塔、多模态投影器和 SAM 图像编码器保持冻结,而 SAM 掩码解码器和四个特定任务的头进行微调。所有配置均训练 5 个 epoch,每个 epoch 包含 500 个优化步骤。我们使用批次大小 8 和 AdamW 优化器 [16],参数为 $(\beta_1, \beta_2) = (0.9, 0.95)$ 且权重衰减为零。所有实验均在 4 块 RTX A6000 GPU 上进行,结果报告了三个独立随机种子的平均值以确保统计稳健性。
4.2 与最先进方法的比较
我们在表 1 中报告了在四个保留的域外生成器上的跨生成器像素级定位性能。显然,PIXAR-DG 始终实现了最先进的性能,表现出对未见生成器的强大零样本迁移能力。在所有评估指标上,PIXAR-DG 显著优于最强的先前基线 PIXAR-7B [22]。
3 这些 Gemini-2.5 样本仅用于训练,并从我们最终的评估集中移除。
6
第 7 页
表3:各生成器的跨域泛化能力。每一行对应一个单生成器训练配置,前六个数值列分别报告了对应生成器测试集上的篡改检测准确率(%)。对角线值表示域内性能;非对角线条目表示分布外(OOD)性能。“Avg.”表示每行五个非对角线条目的平均值;“Worst”表示表现最差的测试生成器,对应 Worst 列中的值。
| 训练域 | 测试生成器准确率 (%) | | | | | | OOD | | | :— | :—: | :—: | :—: | :—: | :—: | :—: | :—: | :—: | | | Qwen-Image | GPT-Image-2.0 | Gemini-3.1 | FLUX.2 | Seedream 4.5 | Gemini-2.5 | Avg. | Worst | | Qwen-Image | 82.7 | 69.8 | 52.4 | 56.3 | 83.8 | 41.2 | 60.7 | Gemini-2.5 | | GPT-Image-2.0 | 14.8 | 45.5 | 0.8 | 21.3 | 20.3 | 2.6 | 11.9 | Gemini-3.1 | | Gemini-3.1 | 10.2 | 3.0 | 72.5 | 4.2 | 13.5 | 38.5 | 13.9 | GPT-Image-2.0 | | FLUX.2 | 24.4 | 30.2 | 2.6 | 85.5 | 17.9 | 10.3 | 17.1 | Gemini-3.1 | | Seedream 4.5 | 47.2 | 29.4 | 17.4 | 21.3 | 70.8 | 14.5 | 26.0 | Gemini-2.5 | | Gemini-2.5 | 23.0 | 18.9 | 62.1 | 12.5 | 25.0 | 59.0 | 28.3 | FLUX.2 |
在 Pixel Recall 上获得 19.34% 的绝对提升,在 Pixel F1 上获得 4.80% 的绝对提升,平均 gIoU 相对提升 21.4%,平均 cIoU 相对提升 21.1%。值得注意的是,PIXAR-DG 使用的训练数据远少于 PIXAR。PIXAR 使用完整的 380K Qwen-Image 训练集进行训练,而 PIXAR-DG 仅使用 73K 张篡改图像,相当于原始训练规模的 19.2%。这表明,仅增加同生成器数据的数量不足以实现跨生成器的鲁棒性;训练源的多样性以及优化过程的稳定性也起着关键作用。在 13B 规模下,PIXAR-DG-13B 在所有平均指标上仍保持最佳,相较于 PIXAR-13B,其平均 gIoU 从 0.176 提升至 0.222,平均 cIoU 从 0.183 提升至 0.232,同时在 Pixel F1 上获得 6.47% 的提升。
我们还报告了各生成器的结果,表2:四个 OOD 生成器上的二分类结果。 粗体表示最佳结果。 证明 PIXAR-DG 在所有 OOD 生成器上改进了定位能力。在 7B 规模下,FLUX.2 上的绝对增益最大,其中 gIoU 从 0.170 提升至 0.222,实现了 30.6% 的相对增益。这些结果表明,仅引入一个辅助源 Gemini-2.5,其泛化能力远超 Gemini-2.5 本身,并转化为广泛的跨生成器鲁棒性。我们进一步在表2中报告了真实与篡改的二分类结果。PIXAR-DG 在 7B 和 13B 规模下均取得了最佳的平均各生成器 OOD 准确率,相较于 PIXAR-7B 和 PIXAR-13B 分别获得 10.0% 和 25.0% 的绝对提升。附录 C.3 中的表9报告了额外的域内结果。
| 方法 | 各生成器准确率 (%) | | | | | | :— | :—: | :—: | :—: | :—: | :—: | | | GPT-Image-2.0 | Gemini-3.1 | FLUX.2 | Seedream 4.5 | Avg. | | SIDA-7B [10] | 13.7 | 23.2 | 15.2 | 20.5 | 18.1 | | PIXAR-7B [22] | 78.0 | 62.0 | 55.1 | 83.2 | 69.6 | | PIXAR-DG-7B | 84.9 | 84.0 | 61.3 | 88.3 | 79.6 | | SIDA-13B [10] | 20.0 | 38.5 | 21.9 | 38.6 | 29.8 | | PIXAR-13B [22] | 67.5 | 46.0 | 46.9 | 75.4 | 59.0 | | PIXAR-DG-13B | 88.4 | 77.6 | 78.1 | 92.0 | 84.0 |
4.3 为何选择 Qwen 和 Gemini-2.5 作为训练数据源?
Qwen-Image 作为基础源生成器。 我们选择 Qwen-Image 作为基础源生成器基于两个原因。首先,Qwen-Image 是开源的,并且得到了 PIXAR 中最大规模训练池(380K 样本)的支持,使其成为大规模监督最实用的候选者。其次,也是更重要的是,我们通过实验验证了 Qwen-Image 在所有六个候选生成器中产生了最强的跨生成器泛化能力。具体而言,我们训练了六个单源变体,每个变体仅针对来自一个生成器的篡改图像对检测器进行微调,并在覆盖所有六个生成器的固定测试集上评估每个变体:对角线条目报告在训练生成器上的域内准确率,而五个非对角线条目报告在未见过生成器上的 OOD 准确率。所有变体均使用相同的训练预算、优化计划和架构设置。
表3 报告了每个单生成器训练源的跨域泛化能力结果。显然,Qwen-Image 实现了最高的平均准确率 60.7%,比第二好的源 Gemini-2.5 高出 32.4%,同时也以显著优势达到了最强的最坏情况 OOD 准确率(在 Gemini-2.5 上为 41.2%):其他所有训练源的最坏情况 OOD 准确率都显著较低(均 ≤14.5%),其中几个甚至降至个位数(例如,GPT-Image-2.0 训练的模型在 Gemini-2.5 上为 2.6%,FLUX.2 训练的模型在 Gemini-3.1 上为 2.6%)。这种最高均值与最高最坏情况准确率的组合表明,与其他泛化能力极不均衡的源相比,Qwen-Image 产生的检测器在未见过生成器上既能广泛泛化又具有鲁棒性。因此,我们在所有实验中固定 Qwen-Image 作为基础源。
7
第 8 页
表 4:源组成研究。每一行代表基于 Qwen-Image 构建的不同训练源组成。按生成器分列报告了在每个测试生成器上的篡改准确率 (%)。Avg. (All) 表示在所有六个生成器上的平均准确率;Avg. (OOD) 表示在保留的分布外 (OOD) 生成器上的平均准确率。粗体表示最佳结果,下划线表示次佳结果。
| 训练组成 | Qwen-Image | GPT-Image-2.0 | Gemini-3.1 | Gemini-2.5 | FLUX.2 | Seedream 4.5 | 平均 (All) | 平均 (OOD) | | :— | :— | :— | :— | :— | :— | :— | :— | :— | | Qwen-Image + Gemini-2.5 | 92.6 | 71.5 | 56.6 | 53.0 | 53.2 | 83.8 | 68.5 | 66.3 | | Qwen-Image + FLUX.2 | 90.3 | 70.5 | 45.2 | 40.8 | 59.2 | 79.7 | 64.3 | 59.1 | | Qwen-Image + Seedream 4.5 | 88.1 | 71.1 | 50.0 | 42.7 | 52.6 | 82.7 | 64.5 | 54.1 | | Qwen-Image + Gemini-3.1 | 90.6 | 71.5 | 57.8 | 48.9 | 53.2 | 80.5 | 67.1 | 63.6 | | Qwen-Image + GPT-Image-2.0 | 88.3 | 70.1 | 45.0 | 41.7 | 52.9 | 78.2 | 62.7 | 54.4 |
Gemini-2.5 作为最佳辅助源。 在固定 Qwen-Image 为基础源的情况下,我们现在研究应将其与哪个额外源结合以最大化分布外 (OOD) 泛化能力。表 4 报告了将 Qwen-Image 与其余每个生成器单独结合的结果,而包含更多源的组成结果见附录 C.4。
如表 4 所示,Qwen-Image + Gemini-2.5 实现了最高的 Avg. (OOD) 66.3%,明显优于所有四种其他辅助选择:Gemini-3.1 仅达到 63.6%,其余选择均低于 60%。这一发现通过表 3 得到进一步证实:Gemini-2.5 是 Qwen-Image 训练检测器的最坏情况 OOD 目标,即基础源泛化能力最差的生成器。这些观察结果的一致性促使我们做出最终设计:PIXAR-DG 使用 Qwen-Image + Gemini-2.5 作为训练源。
基础源数据规模的影响。 表 5:基础源训练数据规模的影响。我们改变用于训练的 Qwen-Image 篡改样本数量 $N$,同时保持所有其他设置不变。
一个自然的问题是,当与我们的小型辅助源(3K Gemini-2.5)配对时,需要多少 Qwen-Image 数据。为了回答这个问题,我们将 Qwen-Image 篡改样本数量 $N$ 从 30K 增加到完整的 380K,同时保持训练配方中的其他所有组件固定。结果报告在表 5 中。显然,将 Qwen-Image 子集从 30K 增加到 70K 提高了平均准确率和 Pixel F1。然而,在此之后,额外的同源数据并未带来跨生成器泛化的进一步增益。一个可能的原因是,随着 Qwen-Image 部分的增长,相对较小的 Gemini-2.5 监督在每个小批量中所占比例变小,削弱了其对 OOD 泛化的贡献。因此,我们在所有主要实验中将 $N=70K$ 的 Qwen-Image 样本与 3K Gemini-2.5 篡改样本配对,这仅占完整 PIXAR 训练池的 19.2%。
| $N$ | GPT-Image-2.0 | Gemini-3.1 | FLUX.2 | Seedream 4.5 | 平均准确率 | Pixel F1 | | :— | :— | :— | :— | :— | :— | :— | | 30K | 70.6 | 64.4 | 49.0 | 75.8 | 65.0 | 27.20 | | 70K | 84.9 | 84.0 | 61.3 | 88.3 | 79.6 | 33.40 | | 150K | 74.8 | 52.6 | 51.7 | 80.3 | 64.9 | 24.63 | | 380K (完整) | 75.5 | 47.1 | 52.0 | 79.1 | 63.4 | 26.74 |
4.4 消融实验
相同训练数据。 为了验证 PIXAR-DG 的改进并非完全归因于使用多源训练数据,我们在相同的 Qwen-Image + Gemini-2.5 训练数据上重新训练所有基线方法,使用与 PIXAR-DG 相同的训练预算和优化设置。结果报告在表 6 中。PIXAR-DG 在相同数据训练下继续优于所有基线,达到 66.3% 的平均准确率和 29.89% 的 Pixel F1,而强大的基线 PIXAR 仅达到 52.0% 的准确率和 28.59% 的 Pixel F1。这一差距表明,PIXAR-DG 的改进源于第 3 节中的方法级贡献,而非仅来自更丰富的训练数据。
| 方法 | GPT-Image-2.0 | Gemini-3.1 | FLUX.2 | Seedream 4.5 | 平均准确率 | Pixel F1 | | :— | :— | :— | :— | :— | :— | :— | | SIDA | 49.0 | 39.0 | 35.8 | 74.3 | 49.5 | 28.37 | | PIXAR | 50.3 | 44.1 | 41.6 | 72.1 | 52.0 | 28.59 | | PIXAR-DG | 71.5 | 56.6 | 53.2 | 83.8 | 66.3 | 29.89 |
对三个训练组件的消融。 我们进一步进行消融实验以验证我们训练策略中每个组件的贡献:小批量采样 (MS)、晚期注入 (LI) 和学习率 (LR) 调度。结果报告在表 7 中:每个组件都能带来改进,而结合所有三个组件实现了最强的 OOD 泛化能力。
8
第 9 页
250
200 归一化 150
100 梯度 50
0 0 500 1000 1500 2000 步数
(a) 梯度范数 (b) 损失景观 (PIXAR [22]) (c) 损失景观 (PIXAR-DG) 图 2:小批量采样和学习率调度的影响。(a) <CLS> 头在训练步数上的梯度范数:随机采样(红色)导致大幅波动,而平衡小批量采样(绿色)产生显著更平滑的轨迹。(b) 和 (c) 损失景观比较。
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
图 3:PIXAR-DG 与 PIXAR [22] 在 PIXAR 测试数据中四个分布外 (OOD) 生成器上的预测篡改像素的定性比较(从左到右:GPT-Image-2.0, Gemini-3.1, FLUX.2, Seedream-4.5)。
对于小批量采样,如表 7 所示(在图 2a 中展示),由于真实样本和篡改样本之间的不平衡比率,简单的随机采样导致学习不稳定,且 <CLS> 头的梯度范数表现出大幅波动(红线)。为了解决这个问题,我们采用平衡小批量采样,它在每个小批量内强制保持固定的真实到篡改比率(附录 C.6 的表 11 提供了不同比率的更多结果)。因此,梯度范数变得显著更平滑和平坦(绿线)。
我们进一步可视化了 PIXAR-DG 与最强基线 PIXAR 的损失景观 [14],如图 2b 和图 2c 所示。显然,PIXAR-DG 收敛到一个比基线明显更平坦的最小值。这一分析表明,我们方法中设计的简单模块在塑造有利于分布外 (OOD) 泛化的损失景观几何结构方面发挥了实质性作用。
定性可视化。为了对 PIXAR-DG 与 PIXAR 的预测结果进行定性评估,我们在图 3 中可视化了示例,涵盖了所有四个保留的分布外 (OOD) 生成器:GPT-Image-2.0、Gemini-3.1、FLUX.2 和 Seedream 4.5。我们展示了真阳性和假阴性。在所有四个分布外 (OOD) 生成器上,PIXAR-DG 始终准确定位真正被编辑的区域。更多可视化结果见附录 C.5。
5 结论
在本工作中,我们研究了现代视觉语言模型 (VLM) 中像素级图像篡改检测的域泛化问题,这是一个用于可靠视觉真实性验证的新颖且实用的问题。我们提出了一种简单而有效的训练框架,在不要求复杂架构更改的情况下提高了跨域鲁棒性。通过结合平衡的真实/篡改小批量采样、新兴小域的晚期注入以及保守的低学习率优化,我们的方法鼓励检测器学习可迁移的篡改相关线索,而不是过拟合于源域特定的伪影。大量实验表明,我们的方法在显著减少训练数据的情况下实现了更强的性能,并持续提高了新领域中的定位精度。总体而言,我们的框架为构建针对快速演进的 VLM 生成和 VLM 编辑图像的鲁棒像素级篡改检测器提供了实用的方案。
9
第 10 页
致谢
本研究由 United Al Saqer Group 资助,并得到了 MBZUAI-WIS 人工智能研究联合项目的支持。
参考文献
[1] Junyi Cao, Chao Ma, Taiping Yao, Shen Chen, Shouhong Ding, 和 Xiaokang Yang. 端到端的重建-分类学习用于人脸伪造检测。在 CVPR 会议中,页码 4113–4122,2022。
[2] Junbum Cha, Kyungjae Lee, Sungrae Park, 和 Sanghyuk Chun. 通过预训练模型互信息正则化实现域泛化。在欧洲计算机视觉会议中,页码 440–457。Springer,2022。
[3] You-Ming Chang, Chen Yeh, Wei-Chen Chiu, 和 Ning Yu. Antifakeprompt:提示调优的视觉语言模型是假图像检测器。arXiv 预印本 arXiv:2310.17419,2023。
[4] Baoying Chen, Jishen Zeng, Jianquan Yang, 和 Rui Yang. Drct:面向扩散生成图像通用检测的扩散重建对比训练。在第四十一届国际机器学习会议中,2024。
[5] Gheorghe Comanici, Eric Bieber, Mike Schaekermann 等人。Gemini 2.5:通过高级推理、多模态、长上下文和下一代 Agent 能力推动前沿。arXiv 预印本 arXiv:2507.06261,2025。
[6] Google DeepMind。Gemini 3。2025。2025 年 11 月发布。
[7] Google DeepMind。Gemini 3.1 Flash Image 模型卡。https://deepmind.google/models/ model-cards/gemini-3-1-flash-image/,2026。访问日期:2026-06-03。
[8] Ishaan Gulrajani 和 David Lopez-Paz. 寻找失落的域泛化。arXiv 预印本 arXiv:2007.01434,2020。
[9] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Liang Wang, Weizhu Chen 等人。Lora:大语言模型的低秩自适应。Iclr, 1(2):3,2022。
[10] Zhenglin Huang, Jinwei Hu, Xiangtai Li, Yiwei He, Xingyu Zhao, Bei Peng, Baoyuan Wu, Xiaowei Huang, 和 Guangliang Cheng。Sida:使用大型多模态模型进行社交媒体图像深度伪造检测、定位和解释。在 CVPR 会议中,页码 28831–28841,2025。
[11] Badr Youbi Idrissi, Martin Arjovsky, Mohammad Pezeshki, 和 David Lopez-Paz。简单的数据平衡可实现具有竞争力的最坏组准确率。在因果学习与推理会议中,页码 336–351。PMLR,2022。
[12] Black Forest Labs。FLUX.2:前沿视觉智能。2025。访问日期:2026-02-27。
[13] Xin Lai, Zhuotao Tian, Yukang Chen, Yanwei Li, Yuhui Yuan, Shu Liu, 和 Jiaya Jia。Lisa:通过大语言模型进行推理分割。在 CVPR 会议中,页码 9579–9589,2024。
[14] Hao Li, Zheng Xu, Gavin Taylor, Christoph Studer, 和 Tom Goldstein。可视化神经网络的损失景观。神经信息处理系统进展,31,2018。
[15] Jiashuo Liu, Zheyan Shen, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, 和 Peng Cui。迈向分布外泛化:一项综述。arXiv 预印本 arXiv:2108.13624,2021。
[16] Ilya Loshchilov 和 Frank Hutter。解耦权重衰减正则化。arXiv 预印本 arXiv:1711.05101,2017。
[17] Giung Nam, Byeongho Heo, 和 Juho Lee。Lipsum-ft:使用随机文本引导鲁棒微调零样本模型。arXiv 预印本 arXiv:2404.00860,2024。
[18] Utkarsh Ojha, Yuheng Li, 和 Yong Jae Lee。迈向跨生成模型泛化的通用假图像检测器。在 CVPR 会议中,页码 24480–24489,2023。
[19] OpenAI。Gpt image 1.5。2026。
[20] OpenAI。Gpt image 2 模型。https://developers.openai.com/api/docs/models/gpt-image-2, 2026。OpenAI API 模型文档。访问日期:2026-06-03。
10
第 11 页
[21] Team Seedream, Yunpeng Chen, Yu Gao, 等. Seedream 4.0: 迈向下一代多模态图像生成. arXiv 预印本 arXiv:2509.20427, 2025.
[22] Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K Al Khatib, Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Jing-Hao Xue, Hao Li, 等. 从掩码到像素与含义:VLM 图像篡改的新分类法、基准和指标. arXiv 预印本 arXiv:2603.20193, 2026.
[23] Carole H Sudre, Wenqi Li, Tom Vercauteren, Sebastien Ourselin, 和 M Jorge Cardoso. 广义交并比作为高度不平衡分割的深度损失函数. 在《医学图像分析中的深度学习国际研讨会》, 第 240–248 页. Springer, 2017.
[24] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu, Ping Liu, 和 Yunchao Wei. 频率感知深度伪造检测:通过频域空间域学习提高泛化能力. 在 AAAI, 第 38 卷, 第 5052–5060 页, 2024.
[25] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu, Ping Liu, 和 Yunchao Wei. 重新思考基于 CNN 的生成网络中的上采样操作以实现可泛化的深度伪造检测. 在《IEEE/CVF 计算机视觉与模式识别会议论文集》, 第 28130–28139 页, 2024.
[26] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu, 和 Yunchao Wei. 梯度学习:GAN 生成图像检测的广义伪影表示. 在 CVPR, 第 12105–12114 页, 2023.
[27] Sheng-Yu Wang, Oliver Wang, Richard Zhang, Andrew Owens, 和 Alexei A Efros. CNN 生成图像 surprisingly easy to spot… for now. 在 CVPR, 第 8695–8704 页, 2020.
[28] Chenfei Wu, Jiahao Li, Jingren Zhou, Junyang Lin, Kaiyuan Gao, Kun Yan, Sheng-ming Yin, Shuai Bai, Xiao Xu, Yilei Chen, 等. Qwen-image 技术报告. arXiv 预印本 arXiv:2508.02324, 2025.
[29] Zhuofan Xia, Dongchen Han, Yizeng Han, Xuran Pan, Shiji Song, 和 Gao Huang. Gsva: 通过多模态大语言模型实现通用分割. 在 CVPR, 第 3858–3869 页, 2024.
[30] Kaiyang Zhou, Ziwei Liu, Yu Qiao, Tao Xiang, 和 Chen Change Loy. 域泛化:一项综述. IEEE 模式分析与机器智能汇刊, 45(4):4396–4415, 2022.
第 12 页
附录
A 局限性
尽管我们的框架提升了像素级视觉语言模型(VLM)图像篡改检测的域泛化能力,但仍存在若干局限性。首先,其性能取决于可用源域的多样性和质量。如果源数据未能充分覆盖具有代表性的篡改模式,所学到的线索在极端的分布外(OOD)偏移下仍可能失效。其次,晚期注入(Late Injection)需要访问来自新兴分布的少量标注数据,而对于由闭源或新发布的 VLM 产生的分布,这些数据并不总是可用。第三,我们的方法主要改进了训练策略,而非检测器架构,因此其性能上限仍受限于底层基于分割模型的能力和设计。
B 社会影响
这项工作可能通过提高现代 VLM 时代视觉真实性验证的可靠性而产生积极的社会影响。更强的像素级篡改检测结果有助于识别图像中的篡改区域,支持事实核查和新闻报道,协助内容审核,并为检测虚假信息、欺诈和恶意图像编辑提供法医证据。由于该方法旨在实现域泛化,随着新 VLM 和编辑工具的出现,它可能保持有用性,从而减少为每个新模型从头重新训练检测器的需求。
同时,这项工作也可能产生负面的社会影响。更强大的篡改检测器可能被滥用,以构建更强大的对抗性攻击,因为攻击者可能会研究检测器的行为,以生成更难定位的编辑。此外,还存在对自动化检测系统过度依赖的风险:假阳性可能会错误地将良性或合法的图像标记为被篡改,而假阴性可能会让人对有害的篡改内容产生虚假的信任感。另外,如果训练数据偏向于某些图像域、对象、文化或编辑风格,检测器在不同人群或上下文中的表现可能会不均衡。
C 更多的实验细节和结果
在此,我们总结了方法中引入的超参数设置。总体训练目标中的损失权重 $\lambda_{sem}$、$\lambda_{bce}$、$\lambda_{dice}$、$\lambda_{cls}$ 和 $\lambda_{text}$ 遵循原始 PIXAR 协议 [22] 的默认配置。为了平衡小批量采样,我们将真实图像的比例设置为 $\rho = 0.5$,使得每个小批量包含相同数量的真实图像和篡改图像。为了提高计算效率,消融实验在缩减的训练集上进行,该训练集包含 7,136 张 Qwen-Image 和 400 张 Gemini-2.5 篡改图像,其他数据集和训练设置保持不变。
C.1 PIXAR [22] 的详细信息
PIXAR 是第一个旨在针对本地编辑图像进行精确像素级篡改检测的基准测试。具体而言,PIXAR 训练集包含 380K 个样本,涵盖八种编辑操作,均由 Qwen-Image VLMs [28] 生成;而其测试集涵盖了由六种最先进的生成模型产生的相同八种操作,包括 Qwen-Image VLMs [28]、GPT-Image-1.5 [19]、Gemini-3 [6]、FLUX.2 [12]、Seedream 4.5 [21] 和 Gemini-2.5 [5]。这个多生成器测试集使 PIXAR 成为研究跨生成器泛化的自然基准。为了进一步评估对最新生成模型的泛化能力,我们用来自 GPT-Image-2.0 [20] 和 Gemini-3.1 [7] 的样本扩充了测试集。
PIXAR 中的每个样本都提供了丰富的元数据,包括:(i) 真实源图像,(ii) 其篡改后的对应图像,(iii) 来自默认 $\tau$ 的推荐二值像素级标签图 $M_\tau$,以及 (iv) 原始逐像素差异图,从中可以推导出其他 $\tau$ 值的替代标签。遵循 PIXAR [22] 的协议,我们设置 $\tau = 0.05$ 以获取训练集和测试集的像素级标签。
C.2 测试数据集分布
12
第 13 页
我们在表 8 中展示了测试数据集的分布。根据我们的评估协议,Qwen-Image [28] 和 Gemini-2.5 [5] 作为域内 (ID) 生成器,而其余四个模型 GPT-Image-2.0 [20]、Gemini-3.1 [7]、FLUX.2 [12] 和 Seedream 4.5 [21] 被保留并视为训练过程中未见过的分布外 (OOD) 生成器。图 4 展示了我们篡改基准测试在现代图像生成器上的组成情况。遵循 PIXAR [22] 的做法,Qwen-Image [28]、Gemini-2.5 [5]、FLUX.2 [12] 和 Seedream 4.5 [21] 子集复用同一组生成器。
为了进一步评估 PIXAR-DG 跟上最新图像生成器的能力,我们额外包含了两个最新一代的模型:GPT-Image-2.0 [20] 和 Gemini-3.1 [7]。
C.3 域内评估
我们在表 9 中报告了域内实验结果,涵盖像素级定位 (gIoU, cIoU) 和二元分类准确率。由于 LISA 主要被设计为分割模型,且不包含专用的真实与篡改二元分类头,因此我们不报告其二元分类准确率。在 13B 规模下,PIXAR-DG-13B 显著提升了域内二元分类准确率 (84.9% vs. PIXAR-13B 的 69.1%),同时在像素级 gIoU 和 cIoU 方面与 PIXAR-13B 相当。
表 9:在两个域内 (ID) 生成器上的像素级定位和二元分类结果。“Avg.” 表示两个生成器上的平均结果。
| Method | Per-generator gIoU <br> Qwen-Image | Per-generator gIoU <br> Gemini-2.5 | Per-generator gIoU <br> Avg. | Per-generator cIoU <br> Qwen-Image | Per-generator cIoU <br> Gemini-2.5 | Per-generator cIoU <br> Avg. | Per-generator Binary Accuracy (%) <br> Qwen-Image | Per-generator Binary Accuracy (%) <br> Gemini-2.5 | Per-generator Binary Accuracy (%) <br> Avg. | | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | | SIDA-7B | 0.146 | 0.128 | 0.137 | 0.152 | 0.131 | 0.141 | 22.4 | 18.8 | 20.6 | | PIXAR-7B | 0.222 | 0.154 | 0.188 | 0.263 | 0.160 | 0.211 | 94.7 | 57.3 | 76.0 | | PIXAR-DG-7B | 0.204 | 0.229 | 0.217 | 0.227 | 0.248 | 0.237 | 96.2 | 81.2 | 88.7 | | SIDA-13B | 0.112 | 0.084 | 0.098 | 0.128 | 0.091 | 0.109 | 41.0 | 30.1 | 35.5 | | PIXAR-13B | 0.219 | 0.213 | 0.216 | 0.241 | 0.226 | 0.233 | 93.3 | 44.9 | 69.1 | | PIXAR-DG-13B | 0.189 | 0.238 | 0.213 | 0.207 | 0.254 | 0.231 | 95.3 | 74.6 | 84.9 |
C.4 更多源组成实验
我们在表 10 中进一步报告了三源组成和全混合设置的结果。三源组成预计比两源组成具有更强的泛化能力,因为它们在训练过程中使模型接触到更广泛的生成器特定伪影。然而,它们还需要访问额外的训练域,因此与我们两源设计相比,代表了一种资源效率较低的设置。由于全混合配置是在…
表 10:源组成研究:全混合和三源组成。每一行代表基于 Qwen-Image 构建的不同三源训练组成。#Src. 表示训练源的数量。Per-generator 列报告在每个测试生成器上的篡改准确率 (%)。Avg. (All) 表示在所有六个生成器上的平均准确率;Avg. (OOD) 表示在保留的 OOD 生成器上的平均准确率。粗体表示最佳结果,下划线表示次佳结果,均在三源组成家族内。
| Training composition | #Src. | Per-generator Accuracy (%) <br> Qwen-Image | Per-generator Accuracy (%) <br> GPT-Image-2.0 | Per-generator Accuracy (%) <br> Gemini-3.1 | Per-generator Accuracy (%) <br> Gemini-2.5 | Per-generator Accuracy (%) <br> FLUX.2 | Per-generator Accuracy (%) <br> Seedream 4.5 | Average <br> All | Average <br> OOD | | :— | :— | :— | :— | :— | :— | :— | :— | :— | :— | | Full mixture <br> All Generators | 6 | 84.8 | 88.5 | 91.2 | 87.6 | 83.2 | 91.6 | 87.8 | — | | Three-source compositions | | | | | | | | | | | Qwen-Image + Gemini-2.5 + FLUX.2 | 3 | 78.0 | 74.0 | 73.8 | 77.6 | 80.0 | 70.4 | 75.6 | 72.7 | | Qwen-Image + Gemini-2.5 + GPT-Image-2.0 | 3 | 82.1 | 87.4 | 80.0 | 83.1 | 62.7 | 80.7 | 79.3 | 74.5 | | Qwen-Image + Gemini-3.1 + FLUX.2 | 3 | 79.8 | 70.7 | 84.0 | 76.1 | 80.8 | 75.6 | 77.8 | 74.1 | | Qwen-Image + GPT-Image-2.0 + FLUX.2 | 3 | 78.0 | 82.8 | 27.4 | 34.4 | 82.1 | 71.7 | 62.7 | 44.5 | | Qwen-Image + Seedream 4.5 + FLUX.2 | 3 | 79.0 | 73.9 | 36.9 | 37.6 | 82.0 | 81.5 | 65.1 | 49.5 |
13
第 14 页
Qwen-Image GPT-Image-2.0 Gemini-3.1
Real Tampered Pixel Diff GT Mask Real Tampered Pixel Diff GT Mask Real Tampered Pixel Diff GT Mask
Gemini-2.5 FLUX.2 Seedream 4.5
Real Tampered Pixel Diff GT Mask Real Tampered Pixel Diff GT Mask Real Tampered Pixel Diff GT Mask
图 4:测试集中使用的篡改图像的可视化。
在所有六个生成器的样本上,没有生成器被保留用于评估平均(OOD)性能。 因此,我们报告其整体性能作为参考点,这可以解释为在可用生成器池内的近似上限。
C.5 额外的定性结果
我们在图 5 中提供了额外的定性结果,以进一步比较 PIXAR-DG 与 PIXAR [22]。 这些示例涵盖了 GPT-Image-1.5、Gemini-3、FLUX.2 和 Seedream 4.5,并包括多样化的 篡改类型和物体类别。在这些案例中,PIXAR-DG 更准确地定位了编辑区域,并在视觉上合理但未编辑的区域产生了更少的假阳性响应, 展示了更强的跨生成器鲁棒性。
C.6 真实与篡改样本的不同比例
我们改变 MiniBatch Sampling 强制执行的每批次真实:篡改比例,保持所有其他训练 设置固定;结果报告在表 11 中。在三种配置中,平衡的 1:1 比例提供了最强的整体性能,实现了最高的平均准确率 (66.3%) 和 像素级 F1 分数 (29.89),同时在所有四个分布外生成器的每生成器准确率方面保持竞争力。
表 11:平衡训练真实:篡改比例的消融实验。所有变体共享相同的训练数据、 模型和超参数。
每生成器准确率 (%) 平均 真实:篡改 GPT-Image-2.0 Gemini-3.1 FLUX.2 Seedream 4.5 准确率 像素 F1
2:1 58.6 39.8 42.9 72.7 53.5 23.68 1:1 71.5 56.6 53.2 83.8 66.3 29.89 1:2 52.7 33.5 38.5 71.3 49.0 26.37
14
第 15 页
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异 真实 篡改 像素差异
ours ours
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
PIXAR PIXAR
篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性 篡改+GT 真阳性 假阴性
图 5:PIXAR-DG 与 PIXAR [22] 之间预测篡改像素的更多定性比较。
15