Surprise Forcing:长视频生成中的记忆保留与跳过策略

方法概览:Surprise Forcing

本文提出Surprise Forcing框架,解决流式自回归扩散模型在长视频生成中的上下文遗忘和计算分配不均问题。通过Surprise-Gated Memory Bank动态管理外部记忆,利用Intra-Chunk Surprise Predictor自适应调整去噪步数。在VBench-Long基准上达到SOTA,主体一致性63.98,FPS达17.18。该方法为免训练推理优化,依赖基础模型性能,适用于对长程一致性要求高的场景。

SlotMem:解决长视频角色漂移的角色可寻址记忆框架

SlotMem核心架构概览

本文介绍SlotMem,一种面向叙事长视频生成的角色可寻址内部记忆框架。针对现有方法在长时隙生成中角色身份漂移及背景纠缠问题,SlotMem基于Wan2.2-I2V-A14B骨干,利用Character-Semantic Probe从交叉注意力中定位角色token,经Memory Encoder压缩为紧凑槽位,并通过Memory Writer保守更新。实验显示其在VBench、ViStoryBench等基准上表现优异,人类偏好研究中主体一致性胜率86.1%。需注意该方法依赖提示词中角色名称的一致性,且在多相似角色同框时存在局限。