核心贡献

Paint-Anything：统一任意颜色控制的图像生成与编辑

作者

快速导读：本文提出 Paint-Anything，通过构建 Paint-500K 数据集和引入高噪声纯色彩锚点监督，实现了基于 24-bit hex 提示词的统一图像生成与编辑颜色控制，并在 ACBench 和 CompColor 上显著优于基线模型。

在专业设计领域，如品牌Logo和电商产品图，精确的颜色规格是核心需求。然而，现有的图像生成模型通常只能理解语义上的颜色名称，难以精确遵循 24-bit hex 颜色值。此外，生成与编辑任务往往被割裂处理，缺乏统一的提示词原生颜色控制接口。

本文提出 Paint-Anything，通过构建 Paint-500K 数据集和引入高噪声纯色彩锚点监督，实现了基于 24-bit hex 提示词的统一图像生成与编辑颜色控制。该方法在 ACBench 和 CompColor 上显著优于基线模型，为专业设计提供了更精确的颜色控制工具。

英文题目：Paint-Anything: Unified Any-Color Control for Image Generation and Editing

论文出处：arXiv 每日论文精选 · /tmp/ingest_20260920/arxiv-2609-20816.pdf

原始论文：PDF / 论文页面

这篇论文解决什么问题？

专业设计需要精确的颜色规格，而不仅仅是语义上的颜色名称。虽然 LLM 能理解 hex 代码，但扩散模型缺乏将 hex 字符串与像素级颜色精确绑定的能力。

现有方法如 NumColor 学习数值颜色嵌入，但缺乏统一的生成/编辑接口；ColorBind 提出 CompColor 基准和颜色绑定方法，但颜色保真度有限；ColorWave 基于语义属性绑定，在 ACBench-T2I 上表现不佳。

BBQ-to-Image 使用结构化提示（bounding box + RGB），但需要中间布局表示，而本文直接使用 hex 文本，无需中间布局表示。

当前训练数据不包含 palette-specific（调色板特定）的监督信号，评估主要基于物体级平均颜色，未深入探讨纹理或材质细节的颜色一致性。

核心创新

  • 提出统一的 hex-prompt 接口，支持生成和编辑任务的任意颜色控制。
  • 开发 Paint-500K 数据管道，结合 VLM grounding、SAM3 和 MeanShift 聚类实现物体级 hex 标签。
  • 引入 timestep-gated pure-color anchors，在高噪声阶段注入精确颜色信号，解决阴影导致的颜色标签噪声问题。
  • 发布 ACBench 基准，专门评估生成和编辑任务中的物体级 hex 颜色保真度。

方法概览

基于 FLUX.2-4B 等 rectified-flow 模型，使用 <color>#HEX</color> 标签将颜色嵌入文本提示。构建 Paint-500K 数据集，利用 VLM 定位、SAM3 分割和 CIELAB 空间 MeanShift 聚类提取物体主色。引入纯色彩锚点（pure-color anchors），仅在高噪声时间步 t∈[t_gate, 1] 进行训练，以提供干净的 hex-to-RGB 映射，同时保留低噪声阶段的自然图像语义学习。

  • 基于 FLUX.2-4B 等 rectified-flow 模型，使用 <color>#HEX</color> 标签将颜色嵌入文本提示。
  • 构建 Paint-500K 数据集，利用 VLM 定位、SAM3 分割和 CIELAB 空间 MeanShift 聚类提取物体主色。
  • 引入纯色彩锚点（pure-color anchors），仅在高噪声时间步 t∈[t_gate, 1] 进行训练，以提供干净的 hex-to-RGB 映射，同时保留低噪声阶段的自然图像语义学习。
  • 在 FLUX.2-4B 和 Z-Image Base 上进行微调，对比基线模型及 ColorBind、ColorWave 等专用颜色控制方法。
  • 在 ACBench-T2I、ACBench-Edit 和 CompColor（含 hex 转换协议）上评估颜色保真度和组合绑定能力。
  • 进行模块消融实验，验证 color-tag wrapping、纯色彩锚点和高噪声门控的作用。
  • 在 GenColorBench NCU 上进行独立验证，并开展人类偏好研究。

逐图理解论文

失败案例

失败案例
Figure 6 Qualitative comparison with the base model. Each pair shows FLUX.2-4B (left) and Paint-Anything (right) on the same hex-conditioned prompt. The baseline often produces colors that are semantically plausible but

当提示词要求生成特定 hex 颜色的物体时，基线模型往往产生语义上合理但颜色不精确的结果，无法满足专业设计需求。

研究缺口

研究缺口
Figure 2 Hex color strings are legible to modern language models. Even a compact 4B language model such as Qwen3-4B can associate raw hex codes such as

观察 Paint-Anything 在任意 hex 颜色下的生成与编辑对照。注意同一对象换成指定色值后，形状与材质是否保持，理解统一接口的作用。

核心贡献

核心贡献
Figure 3 Training architecture. Hex colors are represented directly in the text prompt and encoded by the text encoder as text tokens. The VAE encodes target images, and the denoising transformer is trained with the flow-matching objective. Pure-color targets are used only at high-noise timesteps t ∈[tgate, 1], real-world targets are sampled across t ∈(0, 1), and optional condition images for editing are encoded as clean image latents at t = 0.

该图展示了训练架构，hex 颜色直接嵌入文本提示，由文本编码器编码为文本 token。观察纯色彩目标仅在高噪声时间步 t∈[t_gate, 1] 使用，理解 timestep-gated pure-color anchors 的设计。

最强结论

最强结论
Figure 7 Hex-conditioned generation. Paint-Anything follows a range of requested hex colors for the same object. All results use the same random seed.

查看方法或结果可视化中的颜色保真表现。对照指定 hex 与生成结果，理解对象级颜色控制是否落到正确区域。

实验如何设计？

  • 在 FLUX.2-4B 和 Z-Image Base 上进行微调，对比基线模型及 ColorBind、ColorWave 等专用颜色控制方法。
  • 在 ACBench-T2I、ACBench-Edit 和 CompColor（含 hex 转换协议）上评估颜色保真度和组合绑定能力。
  • 进行模块消融实验，验证 color-tag wrapping、纯色彩锚点和高噪声门控的作用。
  • 在 GenColorBench NCU 上进行独立验证，并开展人类偏好研究。

关键结果与论文证据

  • 在 ACBench-T2I 上，Paint-Anything 的 Overall 分数为 68.58，相比 Base 的 37.02 提升了 85.3%（第7页）。
  • 在 ACBench-Edit 上，Paint-Anything 的分数为 75.57，相比 Base 的 58.90 提升了 28.3%（第7页）。
  • 在 CompColor Hex Avg 上，Paint-Anything 的分数为 0.79，相比 Base Hex 的 0.38 和 Base Named 的 0.72 显著提升（第7页）。
  • 在 GenColorBench NCU Avg 上，Paint-Anything 的分数为 57.89，相比 Base 的 34.00 和 FLUX+NumColor 的 51.90 显著提升（第15页）。
  • 消融实验显示，Full finetuning + Wrap + Pure + Gate (t_gate=0.8) 组合在 T2I、Edit 和 CompC 上均取得最佳分数（第9页）。

阅读时需要注意

  • 当前训练数据不包含 palette-specific（调色板特定）的监督信号。
  • 评估主要基于物体级平均颜色，未深入探讨纹理或材质细节的颜色一致性。
  • ACBench 的分数基于 MAE 到分数的线性映射，MAE≤16 得满分，可能掩盖细微的颜色偏差。
  • CompColor 的 hex 协议是作者自行转换的，与原始 named-color 基准存在协议差异。
  • 纯色彩锚点仅在高噪声阶段有效，若 t_gate 设置不当可能损害编辑保真度。

关联工作

  • NumColor 学习数值颜色嵌入，但缺乏统一的生成/编辑接口；本文在 GenColorBench NCU 上优于其报告结果（第3页）。
  • ColorBind 提出 CompColor 基准和颜色绑定方法；本文在其基准上实现了更高的 hex 颜色保真度（第3页）。
  • ColorWave 基于语义属性绑定的颜色控制方法；本文在 ACBench-T2I 上显著优于其复现结果（第3页）。
  • BBQ-to-Image 使用结构化提示（bounding box + RGB）；本文直接使用 hex 文本，无需中间布局表示（第3页）。

发表评论