Sentence-BERT是对预训练BERT网络的一种修改，它利用孪生网络和三元组网络结构来生成具有语义意义的句子嵌入。该模型由Nils Reimers和Iryna Gurevych于2019年在达姆施塔特工业大学通用知识处理实验室提出，旨在解决使用BERT进行语义相似性任务时的计算效率低下问题。标准BERT需要将两个句子同时输入网络，并执行昂贵的交叉编码器过程，这对于大规模相似性搜索来说不切实际。Sentence-BERT则分别为单个句子生成固定大小的嵌入，使得相似性可以通过余弦相似度或其他距离度量来计算，从而适用于聚类和信息检索等任务。
该架构采用孪生网络，其中相同的BERT模型独立应用于两个输入句子，生成两个嵌入。然后通过池化层（通常是均值池化）对这些嵌入进行比较，以获得固定长度的向量。网络使用对比目标（如softmax损失或三元组损失）在标注数据集上进行微调，以确保语义相似的句子在嵌入空间中被映射到邻近点。这种设计实现了高效的推理，因为语料库的嵌入可以预先计算并存储，与交叉编码器相比，相似性比较的时间减少了几个数量级。
训练与目标
Sentence-BERT在斯坦福自然语言推理（SNLI）语料库和多体裁自然语言推理（MultiNLI）数据集等数据集上进行训练。这些数据集包含标注有蕴含、矛盾或中性关系的句子对。模型使用带有softmax分类器的孪生架构进行微调，该分类器预测两个句子之间的关系。最终嵌入取自BERT模型的池化输出。或者，可以使用三元组损失，其中模型被训练为最小化锚点与正例之间的距离，同时最大化与负例的距离。这种方法直接针对相似性任务优化嵌入空间。
性能与效率
Sentence-BERT显著提高了语义相似性计算的速度。标准BERT交叉编码器在现代GPU上处理10,000个句子对可能需要约65小时，而Sentence-BERT可以在约5秒内计算出相同的相似性，速度提升约9,000倍。这种效率使其适用于实时应用，如语义搜索、重复检测和大规模文本集合的聚类。嵌入的质量与更复杂的交叉编码器相比具有竞争力，尽管在某些基准测试上可能略低，但这种权衡在大规模使用中通常是可以接受的。
应用与变体
Sentence-BERT已广泛应用于各种自然语言处理应用。它常用于语义文本相似性、释义检测和信息检索。它还为问答系统中的密集段落检索提供基础支持。已经开发了多种变体，包括支持多种语言的多语言模型，以及针对生物医学和法律文本等领域进行微调的版本。该方法启发了类似的嵌入模型，如sentence-transformers库，该库提供了易于使用的实现和预训练模型。
与其他模型的关系
Sentence-BERT建立在Transformer (architecture)架构和Large language model范式之上，但专门设计用于高效的句子级表示。与OpenAI的GPT等生成模型（生成文本）不同，Sentence-BERT专注于判别性任务。它也与原始BERT等交叉编码器（联合处理句子对）有所区别。孪生架构是一种Neural network设计形式，已在人脸识别等其他领域使用，并在此处被改编用于语言处理。Sentence-BERT生成的嵌入通常与Machine learning技术（如聚类和降维）结合使用。
局限性与未来方向
尽管有其优势，Sentence-BERT仍存在局限性。嵌入的质量在很大程度上取决于训练数据和池化策略。它可能无法捕捉需要更深层上下文理解的复杂语义关系，并且可能对领域偏移敏感。研究人员已探索改进方法，例如在大规模未标注语料库上结合对比学习，以及使用更先进的池化方法。截至2025年，基于Generative AI和Large language model的更新嵌入模型已经出现，但Sentence-BERT仍然是句子嵌入的基础且广泛使用的方法。