行为对齐表征

不同机器人的观测和动作空间差异巨大，如何让一个模型从多种机器人数据中学习并迁移到新机器人？本文提出行为对齐表征——一种跨具身不变且能预测动作的中间表示。通过在VLA模型中联合预测末端执行器轨迹、语言动作和边界框，隐式对齐异构数据。实验表明，末端执行器轨迹是最有效的单一表征，联合表征在模拟和真实机器人迁移中均显著提升性能，且表征的增益随跨具身数据规模扩大而增强。但需注意，模拟环境中的高度对齐可能高估了迁移效果，表征选择也依赖于具体任务和具身差异。