AI专业术语
PEFT
Parameter-Efficient Fine-Tuning
参数高效微调 · 用 1% 的参数换 90% 的效果
模型训练LLMPEFT
PEFT
- 定义
- PEFT（Parameter-Efficient Fine-Tuning）是AI领域的专业术语。PEFT 是一类微调策略的统称：冻结预训练模型的绝大部分参数，只训练少量新增或选定的参数来适配下游任务。
最后更新：2026-03-29
什么是PEFT？
PEFT 是一类微调策略的统称：冻结预训练模型的绝大部分参数，只训练少量新增或选定的参数来适配下游任务。Hugging Face 的 PEFT 库将 LoRA、Prefix Tuning、Prompt Tuning、IA³ 等方法统一封装，已成为开源社区微调大模型的标准工具链。
- 涵盖 LoRA、Prefix Tuning、Prompt Tuning、AdaLoRA、IA³ 等十余种方法
- Hugging Face PEFT 库与 Transformers 深度集成，几行代码即可切换微调策略
- 训练产物通常只有几十 MB 的适配器文件，便于版本管理和多任务切换
PEFT详解
全量微调一个 7B 模型需要存储完整的优化器状态和梯度，显存轻松超过 60GB。PEFT 方法通过不同策略绕过这个瓶颈：LoRA 注入低秩矩阵、Prefix Tuning 在注意力层前拼接可学习向量、Prompt Tuning 在输入嵌入层添加软提示、IA³ 用学习到的向量缩放激活值。Hugging Face 的 PEFT 库（GitHub 星标 17k+）将这些方法标准化，支持与 Transformers、Accelerate、bitsandbytes 无缝配合。实践中 LoRA 因效果稳定、实现简单成为默认选择，但在特定场景下 Prefix Tuning 或 IA³ 可能更优。
PEFT的应用场景
正式定义
一类通过仅训练模型中少量额外或选定参数来实现下游任务适配的微调方法，显著降低计算和存储成本。
应用场景
- 为同一基座模型训练多个领域适配器并按需加载
- 在有限 GPU 资源下快速迭代模型实验
- 将微调产物（适配器文件）纳入 Git 版本管理
常见误区
- PEFT 不是某一种具体方法，而是一类方法的总称
- 参数高效不等于效果差——在多数任务上 PEFT 方法可达全量微调 90-99% 的性能
实际案例
📌 Hugging Face PEFT 库实践
使用 PEFT 库对 Mistral-7B 应用 LoRA 微调，可训练参数仅 4.2M（占总参数 0.06%），在 MMLU 基准上达到全量微调 96% 的得分，训练显存从 58GB 降至 14GB。
PEFT的参考来源
关于PEFT的常见问题
- PEFT 包含哪些方法
- 主要包括 LoRA、QLoRA、Prefix Tuning、Prompt Tuning、Adapter 等，它们都只更新少量参数来适配下游任务。
- PEFT 和全量微调哪个效果好
- 大多数场景下 PEFT 效果接近全量微调，但显存和算力需求低一个数量级。只有需要大幅改变模型行为时全量微调才明显占优。