Exo2EgoPose:利用外心演示突破自心3D手部姿态预测瓶颈
自心(Ego)视角下的3D手部姿态预测常因视野受限和动态剧烈导致线索不足。本文提出Exo2EgoPose框架,引入外心(Exo)视频作为全局上下文指导。核心包括双重心外心重建模块(DERM)和全局到局部调制模块(GLMM)。实验显示,在AssemblyHands、Ego-Exo4D和EgoMe-pose基准上,MPJPE显著优于AR-VRM等基线,并在CALVIN机器人基准上验证了人类到机器人的迁移能力。需注意模型依赖配对的外心视频监督信号。