OmniKVQuant

本文提出 OmniKVQuant，一种针对多模态大语言模型（Omni-LLM）的免训练 KV 缓存量化框架，通过局部时间范围自适应和模态感知值旋转，在 2-bit 精度下显著优于 TurboQuant。