LELexEdge词汇锋面
AI专业术语

Fine-tuning

微调 · 给通用大模型装上专业大脑

模型训练LLM
FINE
定义
Fine-tuning是AI领域的专业术语。Fine-tuning 是让通用 LLM 变成领域专家的关键技术。

最后更新：2026-03-18

什么是Fine-tuning？

Fine-tuning 是让通用 LLM 变成领域专家的关键技术。用几千条高质量的医疗问答数据微调 LLM，就能得到一个医疗领域的专业助手，效果远超通用模型。

  • 全量微调成本高，LoRA 等参数高效方法是主流
  • 数据质量比数量更重要，100 条精标数据可能胜过 10000 条噪声数据
  • 微调可能导致灾难性遗忘，需要平衡通用能力和专业能力

Fine-tuning详解

Fine-tuning 是迁移学习的核心技术，在预训练模型的基础上用任务特定数据继续训练。随着 LLM 规模增大，全量微调的成本变得不可接受，催生了 LoRA、QLoRA 等参数高效微调（PEFT）方法。当前微调的主流流程是：SFT（监督微调）→ RLHF/DPO（对齐）。微调的挑战包括数据质量把控、过拟合风险和评估困难。

Fine-tuning的应用场景

正式定义

在预训练模型基础上使用特定领域或任务数据进行进一步训练的技术

应用场景

  • 将通用模型适配到垂直领域
  • 提升模型在特定任务上的表现
  • 注入企业私有知识

常见误区

  • 微调不是从零训练，是在已有能力基础上调整
  • 微调不一定需要大量数据，几百条高质量数据就可能有效
  • 微调后的模型不一定比原模型好，可能在其他任务上退化

实际案例

📌 LoRA 微调实践

用 LoRA 方法在单张 A100 GPU 上微调 LLaMA-7B，只需训练 0.1% 的参数，4 小时即可完成，效果接近全量微调。

Fine-tuning的参考来源

关于Fine-tuning的常见问题

微调和预训练有什么区别
预训练是在海量通用数据上从零学习语言能力，微调是在预训练模型基础上用少量特定数据适配下游任务。
什么时候需要微调模型
当通用模型在特定领域表现不够好、需要特定输出格式、或需要注入领域知识时，微调能显著提升效果。

与Fine-tuning相关的术语

LLMSFTRLHFLoRA
Fine-tuning vs LLM— 查看对比Fine-tuning vs SFT— 查看对比Fine-tuning vs RLHF— 查看对比Fine-tuning vs LoRA— 查看对比