APQF:当大语言模型学会为深度网络“体检”并自动压缩

APQF 如何实现自动化压缩

问题的根源在于,压缩决策与层敏感度测量是脱节的。现有的剖析工具能告诉你每层有多敏感、计算量有多大,但如何将这些数据转化为具体的剪枝比例和量化位宽,仍然依赖工程师的经验判断。APQF 的核心洞察是:大语言模型恰好擅长阅读结构化数据并做出规划。如果把剖析报告以文本形式提供给 LLM,它就能像一位经验丰富的压缩工程师那样,为每一层量身定制压缩方案。