DIAL 框架

DIAL：利用内在注意力实现可控多主体视频生成

作者

快速导读：本文提出 DIAL 框架，通过挖掘 DiT 中的 Intrinsic Spatial Grounding Map (ISGM)，在低噪声阶段实现免训练的可控保真度引导，在高噪声阶段通过零成本偏好优化锚定主体语义，显著提升了多主体视频生成的身份一致性与稳定性。

多主体视频生成（S2V）面临保真度不可控与语义漂移两大挑战。现有方法往往在“复制粘贴”的生硬效果与主体随时间消失之间难以平衡。

本文提出 DIAL 框架，通过挖掘 DiT 中的 Intrinsic Spatial Grounding Map (ISGM)，在低噪声阶段实现免训练引导，在高噪声阶段通过零成本偏好优化锚定语义，显著提升了生成质量。

英文题目：Harnessing Intrinsic Subject-Aware Attention for Controllable Multi-Subject Video Generation

论文出处：arXiv 每日论文精选 · arXiv:2609.11507

原始论文：PDF / 论文页面

这篇论文解决什么问题？

基于 Diffusion Transformer (DiT) 的视频生成模型在 T2V 和 I2V 任务上表现优异，但在需要严格保持多个个性化主体视觉一致性的 S2V 任务中表现不佳。

现有方法多依赖高质量数据筛选、VLM 特征提取或特定架构（如 R-RoPE），但缺乏对注意力机制内部机理的深入利用，导致无法在推理时动态调整一致性强度。

语义漂移表现为主体随时间消失、属性错误（如颜色漂移）或多参考图身份纠缠，严重影响了生成视频的可用性。

核心创新

  • 发现并定义了 Intrinsic Spatial Grounding Map (ISGM)，揭示了 DiT 中特定注意力块能精准定位参考主体的内在机制。
  • 提出免训练的推理时注意力引导机制（Phase I），支持多主体独立、连续且精细的保真度强度控制，无需模型更新。
  • 引入零成本偏好对构建策略（Phase II），利用 ISGM 与掩码的对齐度自动评估去噪轨迹，通过 RL/DPO 在高噪声阶段锚定主体语义。
  • 在 OpenS2V-Eval 基准上达到 SOTA 性能，同时保持视频自然度，显著降低语义漂移。

方法概览

DIAL (Dual-phase Intrinsic Attention Leveraging) 包含两个阶段：
1. Phase I (低噪声推理引导)：识别 DiT 中特定注意力块形成的 ISGM（内在空间定位图）。在去噪后期（约后80%步骤），利用前一步的 ISGM 构建注意力偏置矩阵，注入到所有自注意力模块中。通过调节每个主体的保真度尺度 γk，实现免训练、区域自适应的身份保真度控制。
2. Phase II (高噪声偏好优化)：在高噪声阶段（约前20%步骤），ISGM 信号噪声大且不可靠。利用 ISGM 与真实主体掩码的空间对齐程度自动构建偏好对（Preference Pairs），无需人工标注。采用多步 DPO (Direct Preference Optimization) 训练模型，锚定主体语义，缓解语义漂移。

  • Phase I (低噪声推理引导)：识别 DiT 中特定注意力块形成的 ISGM。在去噪后期（约后80%步骤），利用前一步的 ISGM 构建注意力偏置矩阵，注入到所有自注意力模块中。
  • 通过调节每个主体的保真度尺度 γk，实现免训练、区域自适应的身份保真度控制，无需模型更新。
  • Phase II (高噪声偏好优化)：在高噪声阶段（约前20%步骤），ISGM 信号噪声大且不可靠。利用 ISGM 与真实主体掩码的空间对齐程度自动构建偏好对（Preference Pairs），无需人工标注。
  • 采用多步 DPO (Direct Preference Optimization) 训练模型，锚定主体语义，缓解语义漂移。
  • ISGM 的提取依赖于预识别的特定注意力块，不同模型或任务可能需要重新分析定位该块。

逐图理解论文

失败案例

失败案例
Fig. 1: Limitations for current subject-to-video generation methods: (Top) Inflexible fidelity strength: existing models either produce unnatural “copy-paste” effects due to training data bias (A) or exhibit uncontrollable sensitivity to inputs (B). (Bottom) Semantic drift: models frequently suffer from (i) subject disappearance over time, (ii) attribute errors (e.g., clothing color drift), and (iii) multi-reference entanglement where identities from different subjects are mixed.

展示现有 S2V 方法的局限：保真度不可控和语义漂移。

研究缺口

研究缺口
Fig. 2: Visualization of the attention peaking phenomenon and Intrinsic Spatial Grounding Maps (ISGM) in Kaleido [38] Baseline. Layer-wise analysis reveals that while most attention blocks produce diffuse noise, a certain block consistently exhibits the most spatially concentrated grounding to the reference subject.

可视化 ISGM 在 Kaleido 中的注意力峰值现象。

DIAL 框架

DIAL 框架
Fig. 3: Phase I: Attention Guidance via ISGM. This training-free mechanism extracts the Intrinsic Spatial Grounding Map (ISGM) from step i −1 to guide the self-attention (ATTN) in step i. Each subject has an independent, spatially-aligned ISGM used to construct an attention bias matrix. The guidance strength (γk) can be adjusted independently for each subject, enabling precise identity fidelity control without requiring model updates.

展示 Phase I 中 ISGM 如何引导自注意力。

实验验证

实验验证
Fig. 8: Localized (ISGM-guided) vs. global guidance in Phase I. We compare our ISGM-based spatially localized guidance with a global baseline that applies a uni- form guidance signal to all spatial locations. Without ISGM, increasing γ noticeably degrades overall video quality; the magnified insets show severe background blurring and texture loss already at γ = 2 and γ = 4. In contrast, ISGM-guided attention bias allows strong fidelity enhancement (e.g., γ = 16) while preserving sharp backgrounds, indicating that our guidance is confined to subject-specific regions.

对比 ISGM 引导与全局引导在背景保持上的差异。

结论与局限

结论与局限
Fig. 9: Evolution of ISGM across denoising steps. In the early high-noise regime (roughly the first 20% steps; e.g., steps 0–8), ISGM is diffuse and provides unreliable spatial localization; thus we disable Phase I guidance in this regime. As denoising proceeds, ISGM becomes progressively sharper and expands to cover the full subject extent. Near the final low-noise steps (e.g., > 40), the activation often concentrates on discriminative regions (e.g., faces), which are critical for identity preservation.

展示 ISGM 随去噪步骤的演化，高噪声阶段不可靠。

实验如何设计？

  • 在 OpenS2V-Eval 基准上评估，涵盖单主体、多主体及人机交互场景。
  • 基线模型：Phantom-14B 和 Kaleido-14B（基于 Wan2.1-T2V-14B）。
  • 对比方法：MAGREF, VACE, SkyReels-A2, BindWeave, SkyReels-v3 等。
  • 消融实验：验证 ISGM 与全局均匀引导（Uni）的效果差异，以及 DPO 迭代次数 (Tdpo) 的影响。

关键结果与论文证据

  • Kaleido + DIAL (γ=8) FaceSim: 57.46% (vs. Baseline 31.81%) (p.12)
  • ISGM (γ=16) NaturalScore: 75.23% (vs. Uni (γ=2) 69.03%) (p.13)
  • Phase II Subject Presence Ratio: 0.51 (vs. Kaleido Baseline 0.48) (p.19)
  • ISGM 引导在强保真度下保持背景清晰，而全局引导导致背景模糊 (p.18)

阅读时需要注意

  • Phase I 引导仅适用于低噪声阶段，高噪声阶段 ISGM 信号扩散且不可靠。
  • Phase II 训练依赖 Phantom-Data 数据集，训练数据背景风格有限。
  • ISGM 的提取依赖于预识别的特定注意力块，不同模型可能需要重新分析。

关联工作

  • Kaleido 和 Phantom 作为基线骨干，分别使用 R-RoPE 和跨模态对齐。
  • Diffusion-DPO 是 RL 方法，DIAL 使用零成本偏好构建替代人类反馈。
  • DiTCtrl 关注 MM-DiT 中的注意力控制，DIAL 识别特定 ISGM 块。

发表评论