MTEBvsSTS-B

MTEB

MTEB 把分类、聚类、检索、语义相似度等 8 类 NLP 任务打包成统一评测框架，让不同嵌入模型在同一把尺子下比高低。Hugging Face 上的 MTEB Leaderboard 已成为选型嵌入模型的事实标准——发新模型不跑 MTEB，等于没发。

STS-B

STS-B 是 GLUE 基准中的一项任务，包含 8600+ 对英文句子，每对由人工标注 0-5 分的语义相似度。它是训练和评估句子嵌入模型的基石数据集——Sentence-BERT、SimCSE 等经典工作都以 STS-B 上的 Spearman 相关系数作为核心指标。

MTEB

• 覆盖 58+ 数据集、8 大任务类型、112 种语言
• Hugging Face Leaderboard 是嵌入模型选型的事实标准
• 2025 年升级为 MMTEB，扩展至 500+ 任务和 250+ 语言

STS-B

• GLUE 基准九大任务之一，2017 年发布至今仍广泛使用
• 8600+ 句对覆盖新闻、图片描述、论坛等多领域
• Sentence-BERT、SimCSE 等句子嵌入里程碑工作的标准评测集

MTEB

一个聚合多数据集、多任务的标准化框架，用于全面评估文本嵌入模型在不同 NLP 场景下的表现。

STS-B

一个包含 8600+ 人工标注句子对的语义相似度评测数据集，用于衡量模型捕捉句间语义关系的能力。

MTEB

• 嵌入模型选型与对比
• 新模型发布时的标准化评测
• RAG 系统中检索组件的性能基线测试

STS-B

• 句子嵌入模型的训练与评估
• 语义搜索系统的质量验证
• 文本去重和近似匹配算法的基线测试

MTEB

MTEB 由 Hugging Face 团队于 2022 年提出，将分类、聚类、配对分类、重排序、检索、语义文本相似度（STS）、摘要等任务整合为统一评测协议，使用 F1、v-measure、nDCG@10 等标准化指标。它解决了此前嵌入模型各自选数据集「刷分」的问题，让对比真正公平。2025 年 ICLR 上发布的 MMTEB 进一步扩展至多语言维度，覆盖 250+ 语言和 500+ 任务，发现小型多语言模型在许多场景下可超越大型 LLM。选模型时需注意：总分高不代表每项任务都强，应根据实际场景看细分得分。

STS-B

STS-B 源自 SemEval 系列共享任务（2012-2017），后被纳入 GLUE 基准。数据集包含来自新闻标题、图片描述和用户论坛的句子对，人工标注 0（完全无关）到 5（语义等价）的连续分数。模型需要预测这个分数，评估指标为预测值与人工标注的 Spearman/Pearson 相关系数。虽然 STS-B 规模不大且仅覆盖英文，但它的标注质量高、任务定义清晰，至今仍是句子嵌入研究的必测项。随着 MTEB 等更大规模基准的出现，STS-B 的角色从「唯一标尺」变为「基础验证集」，但在 Sentence Transformers 训练流程中依然是默认的开发集。