所有模态平等,但视频更平等:弥合联合视频生成中的跨注意力缺口

方法贡献

本文发现联合多模态扩散里视频到伴生模态的对应远强于反向路径,并提出 RecCAR,用停梯度 KL 把较弱的模态到视频对应拉向已建立的视频到模态对应,从而提升视频-动作与视频-音频一致性。

SOFTPROMPT:用跨模态边界软提示实现无遗忘的少样本检测

关键区分

本文提出 SOFTPROMPT,通过在跨模态边界注入少量连续软提示 token 并采用空格初始化,在冻结 VLM 骨干网络的前提下,以极少的可训练参数实现了与 LoRA 相当的少样本检测性能,且无灾难性遗忘。

What Moves? 用于组合场景控制的局部化运动表示

核心贡献

本文提出了一种可提示的局部化运动表示方法,通过在全局视频上下文中提取特定区域的运动嵌入,实现了高精度的对象级运动迁移与组合场景生成,并在局部动作分类任务中优于基于裁剪或掩码的全局方法。