视觉Token剪枝的盲区:被忽视的“死Token”为何仍有价值
通过EmbedLens识别的token角色(alive, dead, sink)分析现有视觉token剪枝方法的偏差,发现保留非alive token有时能维持或提升性能,表明剪枝决策不能仅依赖单个token的语义相关性。
通过EmbedLens识别的token角色(alive, dead, sink)分析现有视觉token剪枝方法的偏差,发现保留非alive token有时能维持或提升性能,表明剪枝决策不能仅依赖单个token的语义相关性。