流式音视频生成

现有流式音视频生成方法依赖不断增长的KV缓存，推理成本随生成长度线性增加，难以支持长视频。Ripple提出跨模态循环记忆机制，用固定长度滑动窗口替代KV缓存，实现恒定成本推理。记忆模块包含模态特定的记忆构建与跨模态交互，通过三阶段训练范式将双向教师模型转化为流式生成器，并在第三阶段首次引入在线扩散强化学习优化音视频质量与同步性。实验表明，Ripple在30秒长视频生成中实现约15倍加速，且音视频质量与身份一致性超越教师模型。用户偏好率显著优于OmniForcing和Hallo-Live。局限在于长视频中运动多样性受限，因首块缓存引入时间锚定效应。