论文代表图：figure-01-p003-01

面部关键点检测为何需要频率视角？FreqFLD 的解耦与路由

作者

快速导读：本文提出 FreqFLD，一种通过频率解耦（FreqMoM）和频率条件混合专家（FreqMoE）实现多数据集统一训练与鲁棒面部关键点检测的框架。

面部关键点检测（FLD）是计算机视觉的基础任务，但现有方法多采用数据集特定训练，且在空间域处理特征，忽略了面部几何对频率变化的敏感性。这导致模型在跨数据集泛化时，难以应对大姿态、遮挡和模糊等复杂场景，特征冲突加剧。

本文提出 FreqFLD，一种基于频率调制的全能面部关键点检测框架。其核心思想是将面部特征解耦为低频（全局结构）和高频（局部细节）分量，并通过频率条件混合专家（FreqMoE）进行自适应路由。该框架整合了 300W、WFLW、COFW 和 AFLW 四个数据集，构建了 124 个统一关键点索引，旨在实现 All-in-One 训练与鲁棒检测。

英文题目：FreqFLD: Towards All-in-One Facial Landmark Detection via Frequency Modulation

论文出处：arXiv 每日论文精选 · arXiv:2609.10278

原始论文：PDF / 论文页面

这篇论文解决什么问题？

现有 FLD 方法分为坐标回归和热力图回归两类，All-in-One 范式旨在统一处理多种退化，但直接应用会加剧由姿态、表情和遮挡引起的特征冲突。传统 MoE 架构在 FLD 中面临专家路由不稳定和空间域建模局限的问题，难以有效区分不同复杂度的样本。

面部几何结构具有显著的低频全局一致性和高频局部细节特征。在复杂场景下，高频细节（如边缘、纹理）容易受到噪声和遮挡的干扰，而低频结构（如五官相对位置）相对稳定。现有方法在空间域混合处理这些特征，导致模型在应对异构数据时缺乏明确的频率先验，泛化能力受限。

此外，多数据集统一训练面临标注不一致和样本分布差异的挑战。不同数据集的关键点定义、数量和位置存在差异，直接混合训练会导致特征空间混乱。因此，需要一种能够统一标注、解耦特征并自适应路由的框架，以平衡全局结构与局部细节的建模。

核心创新

  • 提出 FreqMoM，显式解耦并调制低频和高频分量，构建频率解耦先验，平衡全局结构与局部细节建模。
  • 提出 FreqMoE，实现基于频率调制先验的自适应专家选择，通过图像级路由和不同 patch 大小的专家组处理异构面部模式。
  • 提出 FreqCR 损失，约束专家路由与频率感知结构线索一致，促进专家利用的平衡和稳定专业化。
  • 构建 124 个统一关键点索引，整合 300W, WFLW, COFW, AFLW 四个数据集的标注，实现 All-in-One 训练。

方法概览

FreqFLD 包含三个核心组件：1) FreqMoM（频率调制模块）：将特征解耦为低频（全局结构）和高频（局部细节）分量，并通过 HFPB 和 LFPB 生成频率感知提示；2) FreqMoE（频率调制混合专家）：包含共享结构专家（ShSEM）和频率自适应专家（FreqAEM），基于频率先验进行图像级路由，专家具有不同感受野以处理不同复杂度的样本；3) FreqCR（频率一致路由损失）：通过复杂度感知重要性损失和负载均衡损失正则化专家分配，防止专家失衡。

  • FreqMoM（频率调制模块）：将输入特征解耦为低频和高频分量，通过 HFPB 和 LFPB 生成频率感知提示，分别强调局部细节和全局结构。
  • FreqMoE（频率调制混合专家）：包含共享结构专家（ShSEM）和频率自适应专家（FreqAEM），基于频率先验进行图像级路由，专家具有不同感受野以处理不同复杂度的样本。
  • FreqCR（频率一致路由损失）：通过复杂度感知重要性损失和负载均衡损失正则化专家分配，防止专家失衡，促进专家利用的平衡和稳定专业化。
  • 统一关键点索引：整合 300W、WFLW、COFW、AFLW 四个数据集的标注，构建 124 个统一关键点索引，实现 All-in-One 训练。
  • 图像级路由策略：基于整张图像的频率特征进行专家选择，保证结构一致性，但可能限制细粒度 token 级别的自适应能力。
  • 多尺度感受野设计：不同专家采用不同 patch 大小，以捕捉不同尺度的面部特征，适应从全局结构到局部细节的多样化需求。

逐图理解论文

核心贡献

核心贡献
Figure 4: The top and bottom panels illustrate the High-Frequency Prompt Block (HFPB)

该图详细展示了 HFPB 和 LFPB 的结构，分别用于生成高频和低频提示。观察不同频率提示如何影响专家的选择，以及它们如何平衡局部细节和全局结构的建模。

最强结论

最强结论
Table 5: Influence of FreqMoE, FreqMoM and FreqCR on the 300W challenging subset.

在 300W Challenging 子集上，FreqFLD 显著优于基线和单数据集训练模型，验证了频率解耦与多数据集统一训练的有效性。Leave-one-dataset-out 实验进一步证明其跨数据集泛化能力。

意义与局限

意义与局限
Figure 8: Comparison of t-SNE visualizations of features between the baseline and FreqMoM on

该图对比了基线和 FreqMoM 的 t-SNE 特征可视化。观察 FreqMoM 是否使特征分布更加紧凑，不同数据集的特征簇是否分离更清晰，从而验证频率解耦对减少特征冲突的作用。

实验如何设计？

  • 在 300W、COFW、WFLW、AFLW 四个基准数据集上与 SOTA 方法对比，评估 NME 等指标。
  • 消融实验分析 FreqMoE、FreqMoM、FreqCR 及多数据集训练的影响，验证各组件的贡献。
  • Leave-one-dataset-out 实验验证跨数据集泛化能力，评估模型在未见数据集上的表现。
  • 自评估分析专家数量、TopK 值、频率提示块（HFPB/LFPB）的影响及 t-SNE 特征可视化。

关键结果与论文证据

  • 在 300W Challenging 子集上，FreqFLD 的 NME 为 4.52，优于基线模型（4.71）和单数据集训练模型（4.97），表明频率解耦和多数据集训练的有效性（Page 25）。
  • 在 WFLW 数据集上，FreqFLD 在 Pose、Occlusion、Blur 等复杂子集上表现优异，NME 分别为 7.54、5.53、5.15，显著优于其他方法（Page 22）。
  • 消融实验显示，FreqMoE 和 FreqMoM 的加入分别降低了 NME，而 FreqCR 进一步稳定了专家路由，提升了整体性能（Page 25）。
  • Leave-one-dataset-out 实验表明，FreqFLD 在未见数据集上仍保持较强泛化能力，如 COFW 上 NME 为 5.13，AFLW 上为 1.88（Page 26）。
  • t-SNE 可视化显示，FreqMoM 使特征分布更加紧凑，不同数据集的特征簇分离更清晰，表明频率解耦有助于减少特征冲突（Page 28）。

阅读时需要注意

  • 在 AFLW 数据集上，FreqFLD 的 NMEbox (1.69) 略高于部分 SOTA 方法（如 MHHN 1.38, LUVLi 1.39），表明在特定大姿态数据集上仍有提升空间。
  • All-in-One 训练需要平衡多数据集样本数量（每数据集 20,000 张），可能增加数据预处理和存储成本。
  • 图像级路由策略虽然保证了结构一致性，但可能限制了细粒度 token 级别的自适应能力，未来可探索更细粒度的路由机制。

关联工作

  • EVOIR：All-in-One 图像恢复中的频率调制方法，启发了 FreqFLD 的频率解耦思路。
  • ProtoFormer：基于原型 Transformer 的统一面部关键点检测方法，属于 MoE 架构在 FLD 中的应用。
  • FGTBT：频率引导的任务平衡 Transformer，用于统一面部关键点检测，与 FreqFLD 的频率视角相呼应。
  • Universal FLD：基于关键点聚类关系推理 Transformer 的通用面部关键点检测，提供了统一标注的参考。

发表评论