DPOvsRL

DPO

DPO 将 RLHF 的复杂三阶段流程简化为一步：直接用人类偏好数据优化模型，不需要单独训练奖励模型。训练更稳定、实现更简单，已成为开源社区最流行的对齐方法。

RL

强化学习让 AI 通过与环境交互、获得奖励或惩罚来学习最优行为策略。AlphaGo 击败围棋世界冠军、RLHF 让 ChatGPT 变好用，背后都是强化学习。

DPO

• 将 RLHF 的三阶段简化为一阶段
• 不需要训练奖励模型，直接优化策略
• 训练更稳定，超参数更少

RL

• 核心概念：Agent、环境、状态、动作、奖励
• AlphaGo 和 ChatGPT 的共同技术基础
• RLHF 和 GRPO 是 RL 在 LLM 中的应用

DPO

通过直接优化模型在偏好数据对上的表现来实现人类偏好对齐的训练方法

RL

通过 Agent 与环境交互获得奖励信号来学习最优行为策略的机器学习范式

DPO

• 开源模型的低成本对齐训练
• 小团队快速迭代模型行为
• 替代 RLHF 降低训练复杂度

RL

• LLM 的行为对齐（RLHF）
• 游戏 AI 和机器人控制
• 推荐系统的策略优化

DPO

DPO 由 Stanford 团队在 2023 年提出，核心洞察是：RLHF 中的奖励模型和策略优化可以合并为一个简单的分类损失函数。给定一对「好回答」和「差回答」，DPO 直接增大好回答的概率、降低差回答的概率。这大幅降低了对齐训练的工程复杂度和计算成本，使得小团队和开源社区也能做模型对齐。但 DPO 在某些场景下效果不如 RLHF，特别是需要复杂奖励信号的任务。

RL

强化学习是机器学习的三大范式之一（监督学习、无监督学习、强化学习），核心思想是让 Agent 通过与环境交互来学习最优策略。RL 在游戏（AlphaGo、Atari）、机器人控制和 LLM 对齐（RLHF）中取得了突破性成果。当前 RL 在 LLM 领域的应用是最热门的方向：RLHF 用于行为对齐，GRPO 用于推理能力训练。RL 的挑战包括样本效率低、训练不稳定和奖励设计困难。