EgoGenesis:用3D锚定记忆与动作几何编码,让自我中心视频生成不再漂移
训练世界-动作模型需要大量自我中心视频-动作对,但真实数据采集昂贵,而现有视频生成器存在场景漂移和动作失准问题。EGOGENESIS提出两个几何感知条件机制:OAPM维护第一帧的3D场景锚点并在线刷新近期状态,解决场景不一致;A3D-RoPE将末端执行器的度量3D坐标编码为旋转位置嵌入,实现精确的动作控制。在8个真实机器人任务上,用EGOGENESIS生成的合成轨迹增强训练后,双臂分布外成功率从53%提升至70%。需注意,生成质量依赖预训练先验,且A3D-RoPE要求准确的相机标定和深度估计。