BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem introduzido em outubro de 2018 por pesquisadores do Google. Ele aprende a representar texto como uma sequência de vetores usando aprendizado autossupervisionado, empregando uma arquitetura transformador apenas com codificador. O BERT melhorou drasticamente o estado da arte para grandes modelos de linguagem e, em 2026, permanece como um componente metodológico comum na pesquisa em processamento de linguagem natural (PLN).
O BERT é treinado por meio de predição de token mascarado e predição de próxima frase, aprendendo representações contextuais e latentes de tokens em seu contexto, semelhante a modelos anteriores como ELMo e, posteriormente, GPT-2. Ele encontrou aplicações para muitas tarefas de PLN, incluindo resolução de correferência e resolução de polissemia. Seu sucesso sobre o ELMo deu origem ao estudo da "BERTologia", que tenta interpretar o que o modelo aprende.
Arquitetura
O BERT é uma arquitetura transformer apenas com codificador, consistindo em quatro módulos principais: um tokenizador, uma camada de incorporação, uma pilha de codificadores e uma cabeça de tarefa. O tokenizador converte texto em inglês em uma sequência de inteiros (tokens). A camada de incorporação converte esses tokens em vetores de valores reais. A pilha de codificadores, composta por blocos transformer com autoatenção, mas sem mascaramento causal, processa esses vetores. A cabeça de tarefa converte os vetores de representação final de volta em uma distribuição de probabilidade sobre tipos de token, funcionando como uma camada de desincorporação.
A cabeça de tarefa é essencial para o pré-treinamento, mas muitas vezes desnecessária para tarefas downstream, como resposta a perguntas ou classificação de sentimentos. Nesses casos, ela é removida e substituída por um módulo recém-inicializado adequado à tarefa, e então ajustada finamente. As representações vetoriais latentes alimentam diretamente esse novo módulo, permitindo aprendizado por transferência eficiente em termos de amostras.
Incorporação
O tokenizador do BERT usa WordPiece, uma estratégia de subpalavras semelhante à codificação por pares de bytes, com um vocabulário de 30.000 itens. Qualquer token que não esteja no vocabulário é substituído por [UNK]. A camada de incorporação tem três componentes: incorporações de tipo de token, incorporações de posição e incorporações de tipo de segmento. Incorporações de tipo de token traduzem vetores one-hot em vetores densos. Incorporações de posição usam posições absolutas, com cada dimensão sendo uma função senoidal da posição. Incorporações de tipo de segmento usam um vocabulário de 0 ou 1, indicando se um token pertence ao primeiro ou ao segundo segmento de texto, separados pelo token [SEP].
Esses três vetores de incorporação são somados e, em seguida, normalizados usando LayerNorm, produzindo um vetor de 768 dimensões para cada token no BERTBASE. Os vetores passam por 12 blocos codificadores transformer e são decodificados de volta ao espaço de vocabulário de 30.000 dimensões por meio de uma transformação afim básica.
Família arquitetural
A pilha de codificadores tem dois parâmetros livres: L (número de camadas) e H (tamanho oculto). Há sempre H/64 cabeças de autoatenção, e o tamanho do feed-forward ou filtro é sempre 4H. Variar L e H produz uma família de modelos. A notação é L/H, então BERTBASE é 12L/768H, BERTLARGE é 24L/1024H e BERTTINY é 2L/128H.
Treinamento
O BERT foi pré-treinado simultaneamente em duas tarefas: modelagem de linguagem mascarada (MLM) e predição de próxima frase (NSP). Na MLM, o BERT ingere uma sequência de palavras onde uma palavra pode ser mascarada aleatoriamente, e ele prediz a palavra original. Isso ensina contexto bidirecional, entendendo relações entre palavras de ambas as direções ao mesmo tempo. Na NSP, o BERT prediz se uma frase segue logicamente outra, o que ajuda em tarefas como resposta a perguntas e classificação de documentos.
Modelagem de linguagem mascarada
Na MLM, 15% dos tokens são selecionados aleatoriamente para a tarefa de predição mascarada. O token selecionado é substituído por um token [MASK] com probabilidade de 80%, por um token de palavra aleatório com probabilidade de 10%, ou deixado inalterado com probabilidade de 10%. Esse mascaramento parcial evita deslocamento de conjunto de dados, onde a distribuição de entradas durante o treinamento difere da inferência. Se todos os tokens selecionados fossem mascarados, o modelo poderia não lidar bem com entradas não mascaradas durante a inferência.
Tamanhos de modelo e lançamento
O BERT foi originalmente implementado em inglês em dois tamanhos: BERTBASE com 110 milhões de parâmetros e BERTLARGE com 340 milhões de parâmetros. Ambos foram treinados no Toronto BookCorpus (800 milhões de palavras) e na Wikipédia em inglês (2.500 milhões de palavras). Os pesos foram lançados no GitHub. Em 11 de março de 2020, 24 modelos menores foram lançados, o menor sendo BERTTINY com apenas 4 milhões de parâmetros. Esses modelos menores permitiram experimentação mais ampla e implantação em ambientes com recursos limitados.
Impacto e legado
A introdução do BERT marcou uma mudança significativa na PLN, passando de modelos unidirecionais para compreensão de contexto bidirecional. Seu paradigma de pré-treinamento e ajuste fino tornou-se uma abordagem padrão, influenciando modelos subsequentes como GPT-2 e o desenvolvimento mais amplo de grandes modelos de linguagem. A arquitetura e os métodos de treinamento do BERT foram amplamente adotados e adaptados em todo o campo, consolidando seu lugar como uma técnica fundamental no aprendizado de máquina e na inteligência artificial modernos.