AI专业术语
Hallucination
幻觉 · AI 一本正经地胡说八道
LLM模型推理
HALL
- 定义
- Hallucination是AI领域的专业术语。Hallucination 是 LLM 最大的可靠性问题——模型会自信地编造不存在的论文引用、虚构的历史事件或错误的代码逻辑。
最后更新:2026-03-18
什么是Hallucination?
Hallucination 是 LLM 最大的可靠性问题——模型会自信地编造不存在的论文引用、虚构的历史事件或错误的代码逻辑。这不是 Bug,而是生成式模型的本质特征。
- 不是模型故意说谎,而是统计生成的固有缺陷
- RAG 和 Grounding 是当前最有效的缓解方案
- 完全消除幻觉在理论上可能不可能
Hallucination详解
Hallucination 源于 LLM 的生成机制:模型基于概率分布逐 token 生成文本,当训练数据中缺乏相关知识时,模型会「创造性地」填补空白。幻觉分为两类:事实性幻觉(编造不存在的事实)和忠实性幻觉(与给定上下文矛盾)。当前缓解方案包括 RAG(用检索结果约束生成)、Chain of Thought(让模型展示推理过程)、以及后处理验证。但完全消除幻觉可能需要模型具备真正的世界模型,这是当前技术尚未解决的根本问题。
Hallucination的应用场景
正式定义
大语言模型生成的看似合理但实际上不正确或虚构的内容
应用场景
- 法律和医疗等高风险场景的可靠性评估
- RAG 系统的事实性验证
- AI 生成内容的质量把控
常见误区
- 幻觉不是 Bug 而是生成式模型的固有特征
- 不能通过更多训练数据完全消除幻觉
- 模型说「我不确定」比自信地胡说更好
实际案例
📌 虚构论文引用
律师使用 ChatGPT 准备法庭文件,模型编造了 6 篇不存在的判例引用,导致律师被法官处罚。这一事件成为 LLM 幻觉风险的标志性案例。
Hallucination的参考来源
关于Hallucination的常见问题
- 为什么 LLM 会产生幻觉
- LLM 本质是概率模型,生成最可能的下一个词而非检索事实,当训练数据不足或问题超出知识范围时容易编造内容。
- 怎么减少 AI 幻觉
- 常用方法包括 RAG(检索增强生成)、设置较低的 temperature、要求模型引用来源、以及人工审核关键输出。