REAL框架:去Oracle化的开放世界移动操作具身智能体

方法:REAL框架核心设计

本文提出REAL框架,旨在解决现有具身智能依赖特权Oracle感知API、难以处理模糊指令及仿真现实差距的问题。通过移除全局物体列表等特权信息,构建无Oracle感知的闭环视觉环境,并集成LLM驱动的模拟用户进行交互式消歧。采用SFT对齐Qwen3-VL-8B工具接口,随后使用GSPO进行在线强化学习以优化自适应推理。实验显示,该框架在REAL-Bench基准SUL任务成功率达56.9%,超越所有Zero-shot VLM基线;在Ark LIFT2真实机器人部署中端到端成功率达78.3%。需注意SFT阶段存在行为克隆过拟合风险,且底层VLA策略的执行稳定性直接影响整体表现。