PhysMind:把视频变成可执行世界,让VLM真正理解物理
这暴露了一个根本差距:VLM擅长语义理解,但缺乏对物理状态转移的精确建模。PhysMind的解决思路很直接——与其让模型凭空推理,不如先帮它从视频里重建一个完整的、可执行的物理世界。这个世界包含了物体的三维网格、运动轨迹和动力学参数,可以被反复运行、检查甚至编辑。等具体问题来了,再在这个世界里“执行”问题,根据执行结果给出答案。
这暴露了一个根本差距:VLM擅长语义理解,但缺乏对物理状态转移的精确建模。PhysMind的解决思路很直接——与其让模型凭空推理,不如先帮它从视频里重建一个完整的、可执行的物理世界。这个世界包含了物体的三维网格、运动轨迹和动力学参数,可以被反复运行、检查甚至编辑。等具体问题来了,再在这个世界里“执行”问题,根据执行结果给出答案。