看见免费,说话昂贵:揭示边缘VLM推理的真实能耗瓶颈

论文代表图:figure-02-p003-01

具身智能依赖VLM进行实时视觉推理,但边缘设备电池有限,单次查询能耗高达50-500焦耳。现有工作多聚焦减少视觉令牌,假设视觉处理是主要能耗。本研究在RTX 3070和Jetson Orin NX上对5个VLM进行系统能耗画像,发现平均功率恒定,解码阶段能耗占比86-97%。实验表明,视觉令牌剪枝最多节省10%能耗,而控制输出长度可节省97%。建议优化时优先控制输出长度,并注意动态视觉令牌模型在高分辨率下的预填充能耗陷阱。