Chain of ThoughtvsFew-shot

Chain of Thought

Chain of Thought（CoT）让 LLM 在回答前先展示推理过程，就像学生做数学题要写解题步骤一样。简单加一句「让我们一步步思考」就能大幅提升复杂推理任务的准确率。

Few-shot

Few-shot 是 Prompt Engineering 的核心技巧：在提示词中给 LLM 几个输入-输出的示例，模型就能学会任务模式并应用到新输入上。通常 3-5 个示例就能显著提升输出质量。

Chain of Thought

• Google 在 2022 年提出，是 Prompt Engineering 的里程碑
• 在数学和逻辑推理任务上提升最显著
• DeepSeek-R1 和 o1 将 CoT 内化到了模型训练中

Few-shot

• 通常 3-5 个示例就够，不需要训练
• 示例的质量和多样性比数量更重要
• Zero-shot（无示例）→ Few-shot（少量示例）→ Fine-tuning（大量数据）

Chain of Thought

通过引导大语言模型输出中间推理步骤来提升复杂任务准确率的提示技术

Few-shot

在提示词中提供少量输入-输出示例来引导模型学习任务模式的技术

Chain of Thought

• 数学和逻辑推理问题
• 多步骤决策和规划
• 复杂问题的分析和解答

Few-shot

• 结构化数据提取
• 文本分类和情感分析
• 特定格式的内容生成

Chain of Thought

Chain of Thought 由 Google 在 2022 年提出，核心发现是：让 LLM 输出中间推理步骤能显著提升复杂任务的准确率。在 GSM8K 数学基准上，CoT 将 PaLM-540B 的准确率从 18% 提升到 57%。CoT 的进化方向包括：Self-Consistency（多次采样取多数）、Tree of Thought（树状搜索）、以及 DeepSeek-R1 和 o1 将 CoT 内化到模型训练中，让模型自动进行深度推理。

Few-shot

Few-shot Learning 是 GPT-3 论文的核心贡献之一，展示了大模型通过少量示例就能学习新任务的能力。在实践中，Few-shot 的效果取决于示例的选择：示例应覆盖不同的边界情况、格式要一致、且与目标任务相关。Few-shot 的优势是不需要训练，即时生效；局限是上下文窗口有限，示例太多会挤占输入空间。