MLLM空间推理幻觉怎么破?Geo3R用几何卡片给出答案
多模态大模型常因2D图像缺乏深度信息而产生空间推理幻觉。Geo3R提出一种无需训练的框架,通过提取相机、世界及物体局部坐标系下的几何证据,构建结构化卡片辅助推理。实验显示其在透视、朝向和视点变化场景下显著优于基线。需注意其性能受限于上游几何估计工具的精度。
多模态大模型常因2D图像缺乏深度信息而产生空间推理幻觉。Geo3R提出一种无需训练的框架,通过提取相机、世界及物体局部坐标系下的几何证据,构建结构化卡片辅助推理。实验显示其在透视、朝向和视点变化场景下显著优于基线。需注意其性能受限于上游几何估计工具的精度。