HallucinationvsLLM

Hallucination

Hallucination 是 LLM 最大的可靠性问题——模型会自信地编造不存在的论文引用、虚构的历史事件或错误的代码逻辑。这不是 Bug，而是生成式模型的本质特征。

LLM

LLM 是当前 AI 浪潮的核心驱动力。GPT-4、Claude、DeepSeek 等模型拥有数千亿参数，能完成写作、编程、推理等复杂任务。2024 年全球 LLM 市场规模已超 400 亿美元。

Hallucination

• 不是模型故意说谎，而是统计生成的固有缺陷
• RAG 和 Grounding 是当前最有效的缓解方案
• 完全消除幻觉在理论上可能不可能

LLM

• 参数量从十亿到万亿级别，规模决定能力上限
• 训练一次顶级 LLM 的成本超过 1 亿美元
• 涌现能力：模型足够大时会突然获得新技能

Hallucination

大语言模型生成的看似合理但实际上不正确或虚构的内容

LLM

基于 Transformer 架构、通过海量文本预训练的大规模神经网络语言模型

Hallucination

• 法律和医疗等高风险场景的可靠性评估
• RAG 系统的事实性验证
• AI 生成内容的质量把控

LLM

• 智能客服和对话系统
• 代码生成和辅助编程
• 文档摘要和内容创作
• 知识问答和信息检索

Hallucination

Hallucination 源于 LLM 的生成机制：模型基于概率分布逐 token 生成文本，当训练数据中缺乏相关知识时，模型会「创造性地」填补空白。幻觉分为两类：事实性幻觉（编造不存在的事实）和忠实性幻觉（与给定上下文矛盾）。当前缓解方案包括 RAG（用检索结果约束生成）、Chain of Thought（让模型展示推理过程）、以及后处理验证。但完全消除幻觉可能需要模型具备真正的世界模型，这是当前技术尚未解决的根本问题。

LLM

LLM 基于 Transformer 架构，通过在海量文本上进行自监督预训练来学习语言规律。2022 年 ChatGPT 的发布引爆了 LLM 的商业化浪潮。当前 LLM 的核心挑战包括：幻觉问题（生成看似正确但实际错误的内容）、推理成本高昂、上下文窗口有限、以及对齐问题（确保模型行为符合人类价值观）。开源模型（如 LLaMA、DeepSeek）正在缩小与闭源模型的差距。