混合精度量化

视觉Transformer性能强大但部署成本高，训练后量化是解决之道。然而，不同组件对量化的敏感度差异巨大，统一精度分配往往顾此失彼。MixFrag框架提出了一种直接测量组件量化脆弱性的方法——用KL散度衡量单个组件量化后模型输出的偏离程度，然后将比特分配建模为多选择背包问题，用动态规划求得全局最优解。在COCO目标检测任务上，MixFrag以显著优势超越先前最佳混合精度方法。但需注意，该方法在极端低比特分类任务上仍落后于优化密集型方案，且脆弱性度量未考虑组件间的交互影响。