MM-ToolSandBox:视觉工具调用代理评估基准与失败模式分析

MM-ToolSandBox框架概览

本文介绍MM-ToolSandBox,一个包含500+工具、支持多轮多图交互的视觉工具调用代理评估基准。研究揭示了当前模型在视觉精度和规划能力上的瓶颈,以及随规模变化的失败模式转移。