BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年10月发布的一种语言表示模型。它是Transformer (architecture)架构在语言理解领域最早且最具广泛影响力的应用之一，其发布常被视为一个转折点，使基于transformer的Pretraining成为Natural language processing中的主导范式。
架构与训练
BERT仅使用transformer架构的编码器部分，与后来GPT系列采用的基于解码器的自回归设计形成对比。它通过两个自监督目标进行训练：掩码语言建模，即句子中随机单词被隐藏，模型需利用双向上下文进行预测；以及下一句预测，即模型学习一个句子是否合理地接续另一个句子。这种双向训练使BERT能够同时利用前后文构建表示，相较于早期单向或浅层双向方法（如word2vec和ELMo）具有优势。
BERT发布了多种规模，最著名的是BERT-base（1.1亿参数）和BERT-large（3.4亿参数，，按后来标准算适中但当时规模较大），且Google公开了预训练权重，，使研究人员能够以相对较少的任务特定数据对模型进行微调，以用于问答、情感分析和命名实体识别等具体下游任务。
影响
发布时，BERT在广泛NLP基准测试中取得了最先进成果，，包括GLUE套件和SQuAD问答数据集，，通常大幅超越先前方法。其“预训练后微调”范式迅速被该领域广泛采用，，并直接影响后续编码器和编码器-解码器模型的设计。Google自2019年起将BERT整合进其核心搜索排名系统，，称其为多年来搜索相关性最显著的改进之一，，尤其在理解较长、更对话式查询的意图方面发挥关键作用。
相对于生成模型的遗产
BERT早于由GPT-2、GPT--3及其后继者定义的大语言模型时代，，其仅编码器、非生成式设计意味着它无法像自回归模型那样生成开放式文本;尽管如此，，BERT及其众多衍生模型（包括RoBERTa、ALBERT和DistilBERT）在2020年代仍广泛用于分类、检索和嵌入任务，，这些场景中生成并非必需且效率至关重要，，且BERT风格编码器继续作为更大检索和语义搜索系统的组件，，包括作为某些检索增强生成流程的构建块;诸如Christopher Manning等学术NLP研究者指出，，BERT的发布是一个关键时刻，，证明了对未标注文本的大规模自监督预训练能超越主要依赖标注数据集的方法，，这一教训直接延续到后来生成式语言模型的扩展哲学中;