DPOvsFine-tuning

DPO

DPO 将 RLHF 的复杂三阶段流程简化为一步：直接用人类偏好数据优化模型，不需要单独训练奖励模型。训练更稳定、实现更简单，已成为开源社区最流行的对齐方法。

Fine-tuning

Fine-tuning 是让通用 LLM 变成领域专家的关键技术。用几千条高质量的医疗问答数据微调 LLM，就能得到一个医疗领域的专业助手，效果远超通用模型。

DPO

• 将 RLHF 的三阶段简化为一阶段
• 不需要训练奖励模型，直接优化策略
• 训练更稳定，超参数更少

Fine-tuning

• 全量微调成本高，LoRA 等参数高效方法是主流
• 数据质量比数量更重要，100 条精标数据可能胜过 10000 条噪声数据
• 微调可能导致灾难性遗忘，需要平衡通用能力和专业能力

DPO

通过直接优化模型在偏好数据对上的表现来实现人类偏好对齐的训练方法

Fine-tuning

在预训练模型基础上使用特定领域或任务数据进行进一步训练的技术

DPO

• 开源模型的低成本对齐训练
• 小团队快速迭代模型行为
• 替代 RLHF 降低训练复杂度

Fine-tuning

• 将通用模型适配到垂直领域
• 提升模型在特定任务上的表现
• 注入企业私有知识

DPO

DPO 由 Stanford 团队在 2023 年提出，核心洞察是：RLHF 中的奖励模型和策略优化可以合并为一个简单的分类损失函数。给定一对「好回答」和「差回答」，DPO 直接增大好回答的概率、降低差回答的概率。这大幅降低了对齐训练的工程复杂度和计算成本，使得小团队和开源社区也能做模型对齐。但 DPO 在某些场景下效果不如 RLHF，特别是需要复杂奖励信号的任务。

Fine-tuning

Fine-tuning 是迁移学习的核心技术，在预训练模型的基础上用任务特定数据继续训练。随着 LLM 规模增大，全量微调的成本变得不可接受，催生了 LoRA、QLoRA 等参数高效微调（PEFT）方法。当前微调的主流流程是：SFT（监督微调）→ RLHF/DPO（对齐）。微调的挑战包括数据质量把控、过拟合风险和评估困难。