GUI智能体为何一上真机就翻车?Qwen-UI-Agent用真实设备给出答案
现有GUI智能体在模拟基准上分数很高,但一到真实手机就频繁失败。Qwen-UI-Agent直面这个问题,构建了包含超100台真实设备的运行环境,让模型在真实应用、真实网络、真实弹窗中训练和评估。它还引入混合GUI+CLI动作空间,让智能体既能点击屏幕也能执行命令行,大幅提升复杂任务的完成效率。论文在多个真实设备基准上验证了方法的有效性,同时也坦诚分析了探索失败、弹窗干扰等仍存在的局限。
现有GUI智能体在模拟基准上分数很高,但一到真实手机就频繁失败。Qwen-UI-Agent直面这个问题,构建了包含超100台真实设备的运行环境,让模型在真实应用、真实网络、真实弹窗中训练和评估。它还引入混合GUI+CLI动作空间,让智能体既能点击屏幕也能执行命令行,大幅提升复杂任务的完成效率。论文在多个真实设备基准上验证了方法的有效性,同时也坦诚分析了探索失败、弹窗干扰等仍存在的局限。