VideoTreeSearch:用离散树导航解决长视频接地问答中的错误收敛问题

方法概览:VideoTreeSearch框架

本文提出VideoTreeSearch (VTS),针对长视频接地问答中传统智能体缺乏回溯机制、易过早收敛的问题。VTS利用CLIP构建语义树,通过zoom_in/out/shift离散动作实现显式自纠错。实验显示,VTS在CG-Bench上mIoU达16.8,显著优于LongVT,且平均处理帧数更少。需注意当前方法对多段分散证据支持有限,且依赖CLIP场景分割。