ShotPlan:基于可学习规划令牌的电影级多镜头视频生成
本文提出ShotPlan框架,解决现有视频生成模型难以在单一过程中生成具有明确镜头边界和跨镜头语义一致性的多镜头视频的问题。通过引入可学习规划令牌和分数时间旋转位置编码,实现帧级转场控制。实验显示,ShotPlan在转场偏差、角色一致性等指标上优于CineTrans、HoloCine等基线,并在摄像机运动控制上超越Kling 2.6和Seedance 1.5 Pro。需注意该方法依赖高质量合成数据训练,且规划令牌需保持干净以加速收敛。
本文提出ShotPlan框架,解决现有视频生成模型难以在单一过程中生成具有明确镜头边界和跨镜头语义一致性的多镜头视频的问题。通过引入可学习规划令牌和分数时间旋转位置编码,实现帧级转场控制。实验显示,ShotPlan在转场偏差、角色一致性等指标上优于CineTrans、HoloCine等基线,并在摄像机运动控制上超越Kling 2.6和Seedance 1.5 Pro。需注意该方法依赖高质量合成数据训练,且规划令牌需保持干净以加速收敛。