EmbeddingvsNLP

Embedding

Embedding 将文本映射到高维向量空间，语义相近的文本在向量空间中距离更近。这是 RAG、语义搜索和推荐系统的基础技术。

NLP

NLP 是 AI 中专注于人类语言的分支，涵盖文本分类、情感分析、机器翻译、问答系统等任务。LLM 的出现统一了几乎所有 NLP 任务，让 NLP 从专用模型时代进入通用模型时代。

Embedding

• 语义相近的文本向量距离更近
• 是 RAG 和语义搜索的基础
• OpenAI text-embedding-3 和开源 BGE 是主流选择

NLP

• LLM 统一了几乎所有 NLP 任务
• 从专用模型到通用模型的范式转变
• NLP 是 AI 中最接近日常应用的领域

Embedding

将文本转换为高维数值向量以捕捉语义信息的表示学习技术

NLP

研究计算机理解、处理和生成人类自然语言的人工智能技术领域

Embedding

• RAG 系统的文档和查询向量化
• 语义搜索和相似度匹配
• 推荐系统的内容表示

NLP

• 智能客服和对话系统
• 文本分类和情感分析
• 机器翻译和内容摘要

Embedding

Embedding 是将离散的文本符号转换为连续向量表示的技术，使得计算机能够度量文本间的语义相似度。在 RAG 系统中，文档和查询都被转换为 Embedding 向量，通过余弦相似度或内积来检索最相关的文档。Embedding 模型的质量直接决定了检索效果。当前主流方案包括 OpenAI 的 text-embedding-3、开源的 BGE 和 E5 系列。多语言 Embedding 的质量仍然是挑战，中文 Embedding 的效果通常不如英文。

NLP

NLP 是 AI 历史最悠久的分支之一，从 1950 年代的规则系统到统计方法再到深度学习，经历了多次范式转变。2018 年 BERT 开启了预训练时代，2022 年 ChatGPT 则标志着 LLM 统一 NLP 的时代到来。传统 NLP 需要为每个任务训练专用模型，而 LLM 用一个模型就能处理翻译、摘要、分类、问答等几乎所有语言任务。NLP 的前沿方向正在从语言理解转向多模态理解和 Agent 交互。