光流

本文介绍FlowWAM，一种将光流作为统一动作表示的世界动作模型。通过双流扩散Transformer，模型在策略模式下联合生成RGB与光流，并通过动作专家解码执行；在世界模型模式下，以目标光流为条件生成未来帧。实验显示，FlowWAM在RoboTwin 2.0仿真基准Clean设置下成功率达92.94%，在WorldArena基准上EWMScore达63.71，并在真实Franka与ARX机器人上优于基线。需注意光流提取的计算开销及HSV编码的归一化敏感性。