MotionPhys的贡献与验证

MotionPhys：从光流轨迹的物理一致性看AI生成视频检测

作者

快速导读：MotionPhys提出利用稀疏光流轨迹的曲率、角速度和jerk等多尺度统计特征来检测AI生成视频中的物理运动不一致性。

MotionPhys 的核心主张是：AI 视频生成模型虽然能在短时窗口内产生视觉上平滑的过渡，但缺乏对真实世界物理约束的显式建模，因此在完整动作过程中会破坏运动的物理一致性。论文选择稀疏光流轨迹作为物理证据，通过曲率、角速度和 jerk 三类差分运动量，在多个时间尺度上统计轨迹的几何与时间演化特征，从而区分真实视频与 AI 生成视频。

与依赖帧级外观伪影或生成器特定痕迹的现有方法不同，MotionPhys 关注的是贯穿完整动作的运动模式。其 504 维视频级表示由轨迹级统计与跨轨迹统计聚合而成，最终仅用 LightGBM 分类器即可完成判别。论文在 GenBuster++ 和 AIGVDBench 两个基准上验证了方法的有效性，并系统消融了物理特征组合、时间尺度配置与分类器选择。

英文题目：MotionPhys: Detecting AI-Generated Videos via Physical Consistency of Optical-Flow Trajectories

论文出处：arXiv 每日论文精选 · arXiv:2608.20770

原始论文：PDF / 论文页面

这篇论文解决什么问题？

扩散模型与 Transformer 驱动的视频生成模型快速发展，生成视频的视觉连续性日益提升，显式的合成伪影愈发稀缺。传统检测方法主要依赖 3D CNN、Video Transformer 或 Mamba 等骨干网络捕捉帧级外观异常，但这些异常在高质量生成视频中越来越难以稳定存在。

更关键的问题在于，现有方法大多检测的是生成器特定的痕迹，例如升采样结构伪影或噪声放大伪影。这类痕迹与具体生成器的实现细节强相关，导致检测器在跨生成器场景下的泛化能力有限。论文指出，真正具有跨生成器稳定性的信号，应当来自生成模型普遍缺乏的物理约束建模。

真实世界的物体运动遵循惯性、连续力与轨迹几何等物理规律。AI 生成模型在逐帧生成过程中，虽然能保证短时平滑过渡，但缺乏对完整动作过程中物理一致性的显式建模。这种不一致性不会以单帧伪影的形式出现，而是体现在运动轨迹的几何弯曲、方向演化和高阶时间平滑性上。

因此，论文提出一个研究缺口：现有检测方法要么关注外观伪影，要么关注生成器特定痕迹，却很少从物理运动一致性的角度审视 AI 生成视频。MotionPhys 正是针对这一缺口，将稀疏光流轨迹作为物理证据，构建可解释的运动一致性表示。

核心创新

  • 首次从物理运动一致性视角检测AI生成视频，将稀疏光流轨迹作为物理证据而非依赖外观伪影
  • 提出基于曲率、角速度、jerk的差分运动表示，刻画轨迹几何弯曲、方向演化和高阶时间平滑性
  • 设计8/12/24帧多尺度统计聚合策略，同时捕获短时局部不规则和长时累积不一致
  • 构建紧凑的504维可解释视频级表示，仅需轻量分类器即可实现有效检测，无需复杂视频骨干网络

方法概览

MotionPhys从视频中均匀采样48帧，结合Shi-Tomasi角点与规则网格点初始化特征点，用金字塔Lucas-Kanade光流跟踪构建运动轨迹；在8、12、24帧三个时间尺度上，对每条轨迹计算曲率（curvature）、角速度（angular velocity）和jerk，每个物理量序列用8种统计量（均值、标准差、最小值、最大值、偏度、峰度、中位数、IQR）汇总为24维轨迹特征；跨轨迹对每个维度计算7种统计量得到168维尺度级表示，拼接三个尺度形成504维视频级表示，最后用LightGBM分类器进行真伪判别。

  • 轨迹提取：从视频中均匀采样 48 帧，结合 Shi-Tomasi 角点检测与规则网格点初始化特征点，用金字塔 Lucas-Kanade 光流逐帧跟踪，将跟踪位置连接成运动轨迹。
  • 差分运动表示：对每条轨迹计算曲率、角速度和 jerk 三个物理量。曲率刻画轨迹局部弯曲程度，角速度刻画方向随时间的演化速率，jerk 作为加速度的变化率描述高阶运动平滑性。
  • 轨迹级统计：在 8、12、24 帧三个时间尺度上，对每个物理量序列用 8 种统计量（均值、标准差、最小值、最大值、偏度、峰度、中位数、IQR）汇总，得到每条轨迹 24 维特征。
  • 跨轨迹聚合：对每个维度的轨迹特征计算 7 种统计量，得到 168 维尺度级表示，拼接三个尺度形成 504 维视频级表示。
  • 分类决策：使用 LightGBM 作为默认分类器，对 504 维表示进行真伪判别。论文还对比了逻辑回归、SVM、k-NN、随机森林、MLP 等多种分类器。
  • 多尺度设计动机：短尺度（8 帧）捕获局部不规则，长尺度（24 帧）捕获累积不一致，多尺度拼接使表示同时具备短时敏感性与长时稳定性。

逐图理解论文

一个具体的失败案例

一个具体的失败案例
Figure 1: The left panel shows representative trajectories from a soccer-kick sequence, while the right panel presents distributions of trajectory statistics computed from real and AI-generated videos in GenBuster++. Despite similar short- term visual appearance, the two classes exhibit systematic differences in motion coordination, directional variation, and high-order temporal stability.

左图展示足球踢球序列中的代表性轨迹，右图展示真实与 AI 生成视频在 GenBuster++ 上的轨迹统计分布。应重点观察两类视频在运动协调性、方向变化和高阶时间稳定性上的系统性差异，这是论文物理一致性假设的直观证据。

MotionPhys的贡献与验证

MotionPhys的贡献与验证
Figure 2: Framework of the proposed MotionPhys. (a) Video Input initializes feature points, tracks their inter-frame motion, and connects the tracked positions into motion trajectories. (b) Differential Motion Representation characterizes the trajectories using curvature, angular velocity, and jerk to capture their geometric and temporal evolution. (c) Multi-Scale Statistical Aggregation summarizes the trajectory statistics over 8-, 12-, and 24-frame temporal scales and concatenates them into a 504-dimensional video-level representation. (d) Classification Decision performs the final prediction using a lightweight classifier.

框架图展示 MotionPhys 的四个阶段：视频输入与轨迹提取、差分运动表示、多尺度统计聚合、分类决策。应关注 504 维表示的构建流程，理解轨迹级统计与跨轨迹统计的层级关系。

消融与鲁棒性

消融与鲁棒性
Table 3: Ablation of physical feature combinations on Gen- Buster++. ACC and AUC are reported for individual features, pairwise combinations, and the complete representation.

物理特征组合消融表，报告单独特征、两两组合和完整表示的 ACC 与 AUC。应关注三特征组合相对于单特征和两两组合的提升幅度。

实验如何设计？

  • GenBuster++ 协议：按官方协议在 GenBuster 上训练，在 GenBuster++ 上评估，与 MLLM 方法（Keye-VL-8B、MiniCPM-o 2.6、Qwen2.5-Omni-7B 等）及 BusterX/BusterX++ 对比。
  • AIGVDBench 协议：按官方跨生成器协议在 Open-Sora 上训练，在所有其他未见生成器（I2V/T2V/V2V）上评估，与 10 种视频分类模型及 DeMamba、DeCoF 对比。
  • 物理特征消融：分别测试单独曲率、角速度、jerk，以及两两组合和完整三特征组合。
  • 时间尺度消融：分别测试单尺度（8/12/24 帧）、两两组合和全三尺度配置。
  • 分类器对比：在相同运动表示下比较逻辑回归、线性 SVM、RBF-SVM、k-NN、决策树、随机森林、ExtraTrees、HistGradientBoosting、MLP 和 LightGBM。
  • 轨迹集扰动鲁棒性：对轨迹集进行随机删除、随机添加、随机替换，扰动比例从 0% 增至 50%，观察性能变化。

关键结果与论文证据

  • GenBuster++ 上 MotionPhys 的 Overall ACC 为 78.5%，优于所有对比方法，其中 BusterX++ 以 76.6% 为次优（第 5 页）。
  • GenBuster++ 上 Real ACC 为 84.2%，Fake ACC 为 72.8%，表明对真实视频的判别更稳定，对 AI 生成视频的召回仍有提升空间（第 5 页）。
  • AIGVDBench 跨生成器 Avg AUC 为 84.8%，优于所有对比方法，包括 X3D 的 84.1%、UniFormerV2 的 83.3% 和 DeCoF 的 82.6%（第 6 页）。
  • 完整三特征组合的 ACC 为 78.50%、AUC 为 87.37%，优于所有单特征和两两组合，说明曲率、角速度与 jerk 提供互补信息（第 6 页）。
  • 全三尺度（8+12+24 帧）的 ACC 为 78.50%、AUC 为 87.37%，优于所有单尺度和两两尺度组合，验证多尺度聚合的必要性（第 6 页）。
  • LightGBM 的 AUC 为 87.37%、ACC 为 78.50%，优于 MLP（86.54/77.20）及其他对比分类器，说明紧凑表示配合轻量分类器即可有效（第 7 页）。
  • 轨迹集扰动比例从 0% 增至 50% 时，AUC 和 ACC 仅轻微变化，三种扰动设置下性能稳定，表明方法对轨迹集的部分缺失或噪声具有鲁棒性（第 7 页）。
  • AIGVDBench 上部分生成器（如 Pyramid Flow 74.4、Rep Video 60.2）AUC 相对较低，说明跨生成器泛化并非完全均匀（第 6 页）。

阅读时需要注意

  • 仅刻画图像平面上的二维运动模式，未显式建模深度变化、物体交互和接触关系等更丰富的物理约束。
  • GenBuster++ 上 Fake ACC（72.8%）显著低于 Real ACC（84.2%），对 AI 生成视频的召回仍存在提升空间。
  • AIGVDBench 上部分生成器的 AUC 相对较低，跨生成器泛化并非完全均匀。
  • 论文 arXiv 编号（2608.20770）和部分引用年份（2026）异常，可能为预印本占位或排版错误，需谨慎对待版本信息。

关联工作

  • DeMamba 基于 Detail Mamba 模块建模局部时空不一致性，并构建百万级 GenVideo 基准，代表时空不一致性检测方向。
  • DeCoF 弱化空间伪影影响、聚焦帧一致性，是生成视频时间异常检测的代表方法。
  • BusterX/BusterX++ 基于多模态大语言模型的伪造检测与解释方法，是 GenBuster++ 上的对比方法。
  • D3 基于二阶中心差分特征的训练无关检测方法，刻画二阶动态偏移，与 MotionPhys 的差分运动表示思路有呼应。
  • NPR 通过相邻像素关系捕获生成网络升采样操作引入的结构伪影，属于生成器特定痕迹检测方向。
  • FOA 基于取证导向增强的通用 AI 生成视频检测方法，NAMP 通过噪声放大揭示伪影，均属于外观或噪声域检测方向。

发表评论