Fine-tuningvsLoRA

Fine-tuning

Fine-tuning 是让通用 LLM 变成领域专家的关键技术。用几千条高质量的医疗问答数据微调 LLM，就能得到一个医疗领域的专业助手，效果远超通用模型。

LoRA

LoRA 在预训练模型的线性层旁边插入两个低秩矩阵（降维 + 升维），只训练这部分新增参数，原始权重完全冻结。一个 7B 模型全量微调需要 60GB+ 显存，LoRA 可以把可训练参数压缩到不足 1%，在单张消费级 GPU 上完成同等质量的微调。

Fine-tuning

• 全量微调成本高，LoRA 等参数高效方法是主流
• 数据质量比数量更重要，100 条精标数据可能胜过 10000 条噪声数据
• 微调可能导致灾难性遗忘，需要平衡通用能力和专业能力

LoRA

• 可训练参数不足全量的 1%，显存占用降低 3-5 倍
• 训练完成后适配器可合并回原模型，推理零开销
• 2024 年衍生出 DoRA、PiSSA、LoRA-XS 等变体，生态持续扩展

Fine-tuning

在预训练模型基础上使用特定领域或任务数据进行进一步训练的技术

LoRA

一种参数高效微调方法，通过在冻结的预训练权重旁注入可训练的低秩矩阵对来实现模型适配。

Fine-tuning

• 将通用模型适配到垂直领域
• 提升模型在特定任务上的表现
• 注入企业私有知识

LoRA

• 用特定领域数据微调开源 LLM
• 在消费级 GPU 上定制聊天机器人风格
• 为同一基座模型训练多个任务适配器并按需切换

Fine-tuning

Fine-tuning 是迁移学习的核心技术，在预训练模型的基础上用任务特定数据继续训练。随着 LLM 规模增大，全量微调的成本变得不可接受，催生了 LoRA、QLoRA 等参数高效微调（PEFT）方法。当前微调的主流流程是：SFT（监督微调）→ RLHF/DPO（对齐）。微调的挑战包括数据质量把控、过拟合风险和评估困难。

LoRA

LoRA 的核心思想来自微软 2021 年的论文：大模型微调时的权重更新矩阵本质上是低秩的，不需要更新全部参数。它将权重更新分解为 W = BA（B 降维、A 升维），秩 r 通常取 8-64。训练时只更新 A 和 B，推理时将 BA 合并回原权重，不增加延迟。这一方法已成为 Hugging Face PEFT 库的默认微调策略，广泛应用于 LLaMA、Mistral、Qwen 等开源模型的领域适配。局限在于对秩 r 的选择敏感，且在需要大幅改变模型行为的场景下效果可能不如全量微调。