STS-B（语义文本相似度基准）是自然语言处理（NLP）中广泛使用的数据集，用于评估计算模型判断句子对语义等价性的能力。它于2017年作为SemEval-2017任务的一部分引入，建立在2012年至2016年早期语义文本相似度（STS）共享任务的基础上。该基准包含8,628对英文句子，每对句子都带有人工标注的相似度分数，范围从0（完全不相关）到5（语义等价）。这些分数通常由多位标注者取平均值，以生成黄金标准标签。
该数据集来源于多种领域，包括图像描述、新闻标题和用户生成的论坛帖子，使其成为语义理解的多样化测试平台。STS-B常用于训练和评估模型在句子嵌入、语义搜索和释义检测等任务上的表现。它已成为机器学习和人工智能社区中的标准基准，经常出现在大语言模型评估的排行榜中。
任务定义与评分
在STS-B任务中，模型需要输入一对句子，并输出一个介于0到5之间的连续相似度分数。主要评估指标是模型预测分数与人工标注黄金分数之间的皮尔逊相关系数。部分评估也会报告斯皮尔曼相关系数。该任务要求模型能够捕捉细微的语义区别，例如释义、蕴含和矛盾之间的差异。
例如，句子对“一个男人在弹吉他”和“一个男人在拨弄吉他弦”会获得较高分数（接近5），而“一个男人在弹吉他”和“一只狗在叫”则会获得较低分数（接近0）。该基准的难点在于处理句法变异、词汇重叠和世界知识。
历史背景
STS-B基准源自SemEval-2012的STS试点任务，该任务使用了微软研究院释义语料库等数据。2017年版本由Daniel Cer、Mona Diab等研究人员组织，将前几年的数据整合为一个统一的、可复用的基准，并划分了固定的训练集、验证集和测试集。测试集的标签最初是隐藏的，后来才发布，以避免过拟合，这是共享任务中的常见做法。
自发布以来，STS-B已被广泛应用于众多研究中。它尤其被纳入2018年推出的GLUE基准（通用语言理解评估），该基准汇集了九项NLP任务来评估通用语言模型。STS-B至今仍是GLUE及其后续版本SuperGLUE的组成部分，不过SuperGLUE用更具挑战性的任务取代了它。
在模型开发中的应用
STS-B经常用于训练句子嵌入模型，例如基于Transformer架构的模型。Sentence-BERT（SBERT）及其后续变体使用STS-B作为训练目标，通过孪生网络或三连网络优化余弦相似度。该基准也用于评估神经网络模型，包括深度学习系统以及由OpenAI、Anthropic和Google DeepMind等机构开发的大语言模型。
在大规模预训练模型时代，STS-B常被用作探针任务，以检验模型是否学到了稳健的语义表示。它也被用于跨语言和多语言场景，此时模型会在数据集的翻译版本上进行评估。
局限性与批评
尽管STS-B广受欢迎，但它也存在已知的局限性。数据集规模相对较小，且其0到5的标注尺度可能带有主观性，导致标注者之间存在差异。测试集也容易受到数据泄漏的影响，如果模型在公开版本的数据集上训练的话。此外，该基准仅聚焦于英语，限制了其在其他语言上的适用性。一些研究人员认为，在STS-B上取得高分并不一定意味着在下游任务（如问答或摘要）上表现更好。
相关基准与扩展
STS-B催生了若干扩展版本，包括STS-B多语言版（STS-B-M），该版本将数据集翻译成多种语言，以及阿拉伯语STS基准。它也与语义文本相似度（STS）共享任务系列中的其他语义相似度任务相关，例如微软研究院释义语料库和Quora问题对数据集。在生成式AI的背景下，STS-B有时被用来评估生成文本的一致性，不过像MT-Bench和Chatbot Arena这样的新基准在对话模型评估中已逐渐获得更多关注。
参见
- 机器学习
- 深度学习
- 大语言模型
- Transformer
- 神经网络
- 人工智能
- OpenAI
- Anthropic
- Google DeepMind
- 生成式AI