研究缺口

CompAdapt：可适配复合运动的物理一致文生视频

作者

快速导读：CompAdapt 把提示解析成物理语义，用神经牛顿动力学组合并行、多阶段与碰撞运动，并能一次样本适配新物理定律。

文生视频看起来流畅，并不等于守物理。球可能穿过去、旋转速度乱跳、从抛体突然变成摆，却没有对应的受力切换。哈尔滨工业大学与淘宝（阿里巴巴集团）的 CompAdapt 针对三类缺口：现有物理方法多半只会单物体单类运动；参数常靠手填；遇到月球重力或低摩擦就要重训核心动力学。项目页 https://makapic.github.io/CompAdapt/ 。条目信息为投稿 NeurIPS 2026，PDF 首页仍标 Preprint。

方法走语言到动力学再到视频。Qwen2.5-7B-Instruct 的双分支解析器把提示变成运动序列和初始十维状态（在 NewtonGen 九维上加质量）。每类运动有预训练 Neural Newtonian Dynamics；MTC 把并行分量的状态位移加到共享初态；MOT 检测接触并用碰撞网络做离散跳变。得到的 Z(t) 引导基于 Wan-Move 的生成器，用旋转缩放 warp 代替硬拷特征。新定律则用一条轨迹匹配最近先验再正则微调。Table 1–4 显示复合运动与碰撞的 PIS 高于通用模型和重训 NewtonGen*，一次适配在近域高、远域结构 OOD 则明显掉。

英文题目：CompAdapt: Adaptable Composite Motion Modeling for Physics-Consistent Text-to-Video Generation

论文出处：arXiv 每日论文精选 · arXiv:2609.21455

原始论文：PDF / 论文页面

这篇论文解决什么问题？

通用扩散模型从视频相关里学运动，不保证重力、动量和碰撞法向。Figure 3 左列里，抛体旋转、摆的阻尼、多阶段变形碰撞都出现轨迹或外观崩溃。

NewtonGen 把神经牛顿动力学接到可控生成，但图 2(a) 写明：预设参数、单物体、单运动类型，光学流只负责外观。碰撞和并行组合都不在它的连续 ODE 里。

轨迹可控方法能把质心路径喂给视频模型，却不管质量、角速度和接触。复杂场景还需要：提示自动变成物理量；并行与时序能组合；接触能打断连续演化；新环境不必重做大规模干净仿真。

核心创新

  • 把耦合、多阶段和多物碰撞写成可组合的神经动力学，而不是单类运动。
  • 文本解析出运动类别、时序关系和初始物理量，不再手填参数。
  • 动力学感知先验匹配，用一条观察适配月球重力等未见定律。

方法概览

十维状态 Z 在 NewtonGen 九维上加质量 μ。双分支 Qwen2.5-7B-Instruct（LoRA）解析：LLMseq 把提示拆成十二类运动的并行/时序结构，LLMparam 估初始 Z0。每个分量激活一类预训练 NND；MTC 把并行位移加到共享初态上（质量维掩掉）；MOT 用支持函数距离检测接触，碰撞专用 NND 做离散状态跳变。轨迹引导基于 Wan-Move 的视频生成，用旋转缩放的空间 warp 与自适应混合代替硬拷特征。新定律：一条观察、先验匹配、再正则微调被选中的 NND。

  • 状态：Z = [x, y, vx, vy, θ, ω, s, l, a, μ]。μ 不能从几何读出，却是碰撞动量交换所必需。每个分量满足带线性牛顿项和 MLP 残差的二阶 ODE，用 Neural ODE 从 Z0 积到 Zt。
  • 解析：LLMseq 识别十二类运动并给出各物体的时间戳序列，同一时刻多个分量并行，不同时刻顺序拼接。LLMparam 在序列条件下估计 Z0。也允许不经文本、直接用预设参数。
  • MTC：并行分量大多作用在近似不相交的状态子集上，合成规则是共享初态加上各自分量位移，质量维用掩码保持不变。后一阶段的初态接上一阶段的 Zsyn，从而做多阶段。
  • MOT：用凸形支持函数算最小边界距离，小于阈值就调用碰撞 NND，把接触前状态映射到接触后状态，再继续独立演化。附录消融显示去掉质量或去掉 MOT，碰撞 PIS 会掉到接近通用模型。
  • 视频：在 Wan-Move 上按 Z 投影质心轨迹，但不做全局硬拷。空间 warp 用相对转角和长短轴比变换局部 latent 块；自适应混合补偿缩放和出平面伪影。
  • 一次适配：一条观察做动力学感知先验匹配，选中模块后用拟合轨迹加参数靠近先验的损失微调。作者用来应对月球重力、低摩擦等。

逐图理解论文

失败直觉

失败直觉
Figure 1: CompAdapt generates physically-consistent composite motion videos from texts, with (a) unified composite motion modeling and (b) efficient one-shot adaptation to novel physical laws.

左六组三帧覆盖抛体旋转碰撞、斜碰、气球变形、对心碰撞、旋转减速和斜坡接平动，用来展示并行、多阶段和离散事件。右粉框上面是月球参考，下面一次适配月球重力打勾、地球重力零样本打叉，落点更陡。不要从图里读 PIS，红箭头是注释不是模型通道。

研究缺口

研究缺口
Figure 2: Overview of CompAdapt. (a) NewtonGen serves as the baseline, integrating a single NND from preset parameters for one object with one motion type. (b) CompAdapt extends this framework with text-to-physical parsing, composite motion modeling, explicit interaction, and one-shot adapta- tion. A text-to-physical parser or presets yield the motion composition and Z0. Each object’s NND outputs are fused by the Motion Type Composite Module (MTC), and contacts between objects are resolved by the Multi-Object Interaction Module (MOT). For new laws, one-shot observation, prior matching, and Adapt update the NND. Z(t) guides video generation.

先看顶栏 NewtonGen 只有单 NND 和光流。再按解析、逐物体动力学、是否接触、视频生成往右读。底栏 MTC 把两路位移加到 Zsyn 并掩住质量；MOT 在接触时用公式把碰撞前状态换成碰撞后。紫条是一条观察、匹配先验、更新 NND。这张做特色方案图。

关键机制

关键机制
Figure 3: Qualitative comparison results on some representative physical motion scenarios. Our CompAdapt generates videos with accurate physical motion and consistent appearance. Table 1: Per-parameter quantitative comparison of physical consistency (PIS). Reference is calcu- lated on simulated ground-truth videos. * denotes retrained version.

六行左右对照，看旋转、回弹和变形阶段是否跟提示走。第五行标签 Voe3 应读作 Veo3。下沿 Table 1 题注是裁切拼进，本图资产里几乎看不到单元格，引用分数请用正文表。提示在图中被截断，全文在附录。

核心结论

核心结论
Figure 4: Qualitative comparison of different video generators. Our method maintains consistent visual appearance while ensuring accurate physical motion and sharper texture details.

上半两张表：组合消融里完整模型 PIS 最高；生成器表里 Ours 外观指标更好，EPE 与 Wan-Move 持平。下半三列是 Go-with-the-Flow、原版 Wan-Move 与微调版，看气球纹理和轨道滚珠是否离轨发糊。资产虽叫 figure-04，引用表 2/3 时要说清它们印在同一页同一张图上。

实验如何设计？

  • 数据：Text2Phys 一万条提示训解析器；CollidePhys 一千条两物弹性碰撞；CompoPhys 一千五百条复合运动；OODPhys 三十四个受控场景分近域、中域、远域、对抗四档，外加月球自由落体、冰壶、实验室阻尼摆三条真实视频。
  • 指标：PIS 测不变量稳定；FID/FVD/PSNR/SSIM/EPE 测外观与轨迹。对照含 Sora、Veo3、CogVideoX-5B、Wan2.2、Wan-Move、PhysT2V、重训 NewtonGen*。单卡 RTX A6000。
  • 消融：Table 2 去 MTC、去时序链、单 LLM；Table 3/Figure 4 换生成器；Table 4 一次适配；附录 Table 12 去质量/去 MOT。

关键结果与论文证据

  • Table 1（第 9 页）：复合运动多项 Ours 接近仿真 Reference，例如同步旋转抛体的 vx 0.9803 对 NewtonGen* 的 0.8914。两物正碰/斜碰上 NewtonGen* 为无法生成，Ours 的分速度 PIS 多在 0.91–0.93，对照通用模型约 0.45–0.53。
  • Figure 3：左列对照出现旋转不一致、回弹方向错、纹理糊；右列同一提示下运动和外观更稳。图内第五行印成 Voe3，正文是 Veo3。该 PNG 还拼进了 Table 1 题注，数字要回正文表读。
  • Table 2（第 10 页）：完整模型 PIS 0.862；去 MTC 0.615，去时序 0.589，单 LLM 0.724。Table 3：微调后的物理感知 Wan-Move FID 15.0 / FVD 91.4 / PSNR 17.2，优于 Go-with-the-Flow 与未微调 Wan-Move；EPE 与未微调同为 2.9，提升主要在外观。Figure 4 气球与螺旋轨道上，硬拷特征会糊，微调后更清晰、更贴轨。
  • Table 4：近域二十二场景平均 Var-PIS 0.888，中域 0.854，远域结构 OOD 仅 0.515，对抗 0.730。三条真实视频都在 0.90 以上。附录称三十四场景里二十四个对参考样本选择的标准差低于 0.02。
  • 附录 Table 12：完整碰撞平均 PIS 0.923，去质量 0.689，去 MOT 0.487。纯滚动在加性 MTC 下一次适配后只有约 0.78，低于解耦斜坡的约 0.98，这是方法边界而不是表 1 主结果。

阅读时需要注意

  • 加性组合假设分量近似独立；无滑滚动、出范围角速度、铰接链会超出。
  • 远域没有近先验时，一次适配平均 PIS 低。
  • 解析器类别有限；NewtonGen* 不会碰撞，表 1 的碰撞对照不对称。
  • 预印本，NeurIPS 2026 为投稿信息。

关联工作

  • NewtonGen 提供 NND、九维状态和 PIS 协议，是单类运动基线。
  • Wan-Move 提供轨迹条件生成；Go-with-the-Flow 是其光流式对照。
  • PhysT2V 与 Sora、Veo3、CogVideoX、Wan2.2 覆盖物理方法和通用文生视频两头。Neural ODE 是连续积分骨架。

发表评论