Lançamento Open Source do BERT

BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem introduzido em outubro de 2018 por pesquisadores do Google. Ele aprende a representar texto como uma sequência de vetores usando aprendizado autossupervisionado, empregando uma arquitetura de transformador apenas com codificador. O BERT melhorou dramaticamente o estado da arte para grandes modelos de linguagem e, em 2026, permanece como um componente metodológico comum na pesquisa em processamento de linguagem natural (PLN).

O BERT é treinado usando predição de token mascarado e predição de próxima frase, permitindo que ele aprenda representações contextuais e latentes de tokens em seu contexto, semelhante a ELMo e GPT-2. Ele encontrou aplicações em muitas tarefas de PLN, como resolução de correferência e resolução de polissemia. O BERT melhorou o ELMo e deu origem ao estudo da "BERTologia", que tenta interpretar o que é aprendido pelo BERT.

Arquitetura

O BERT é uma arquitetura de transformador "apenas com codificador". Em um nível alto, o BERT consiste em quatro módulos: um tokenizador, um módulo de incorporação, uma pilha de codificadores e uma cabeça de tarefa. O tokenizador converte texto em inglês em uma sequência de inteiros (tokens). O módulo de incorporação converte tokens em vetores de valores reais. A pilha de codificadores consiste em blocos de transformador com autoatenção, mas sem mascaramento causal. A cabeça de tarefa converte os vetores de representação final em uma distribuição de probabilidade sobre os tipos de token, atuando como uma camada de desincorporação.

A cabeça de tarefa é necessária para o pré-treinamento, mas muitas vezes desnecessária para tarefas downstream, como resposta a perguntas ou classificação de sentimentos. Para tais tarefas, a cabeça de tarefa é removida e substituída por um módulo recém-inicializado adequado à tarefa, seguido de ajuste fino. O vetor de representação latente é diretamente alimentado neste novo módulo, permitindo aprendizado por transferência eficiente em termos de amostras.

Incorporação

O tokenizador do BERT é o WordPiece, uma estratégia de subpalavras semelhante à codificação por pares de bytes. Seu tamanho de vocabulário é de 30.000, e qualquer token que não apareça no vocabulário é substituído por [UNK]. A camada de incorporação contém três componentes: incorporações de tipo de token, incorporações de posição e incorporações de tipo de segmento. As incorporações de tipo de token traduzem um vetor one-hot em um vetor denso com base no tipo de token. As incorporações de posição usam posições absolutas, com cada dimensão consistindo em uma função senoidal da posição. As incorporações de tipo de segmento usam um vocabulário de 0 ou 1, indicando se um token pertence ao primeiro ou segundo segmento de texto (tokens após o token especial [SEP] são do tipo 1). Os três vetores de incorporação são somados e então normalizados usando LayerNorm, gerando um vetor de 768 dimensões para cada token. Esses vetores passam por 12 blocos de codificador de transformador e são decodificados de volta para o espaço de vocabulário de 30.000 dimensões via uma transformação afim.

Família arquitetural

A pilha de codificadores tem dois parâmetros livres: L (número de camadas) e H (tamanho oculto). Há sempre cabeças de autoatenção H/64, e o tamanho do feed-forward/filtro é sempre 4H. Variar esses parâmetros gera uma família de modelos BERT. A notação é L/H: BERTBASE é 12L/768H, BERTLARGE é 24L/1024H, e BERTTINY é 2L/128H.

Treinamento

Pré-treinamento

O BERT foi pré-treinado simultaneamente em duas tarefas: modelagem de linguagem mascarada (MLM) e predição de próxima frase (NSP). Na MLM, o BERT ingere uma sequência de palavras onde uma palavra pode ser mascarada aleatoriamente, e ele prediz a palavra original. Isso ajuda o BERT a aprender contexto bidirecional, entendendo relações entre palavras de ambas as direções simultaneamente. Na NSP, o BERT é treinado para prever se uma frase segue logicamente outra, o que é importante para tarefas como resposta a perguntas ou classificação de documentos.

#### Modelagem de linguagem mascarada

Na modelagem de linguagem mascarada, 15% dos tokens são selecionados aleatoriamente para a tarefa de predição mascarada. O token selecionado é substituído por um token [MASK] com probabilidade de 80%, substituído por um token de palavra aleatório com probabilidade de 10% e deixado inalterado com probabilidade de 10%. Essa estratégia evita o problema de deslocamento de dataset, onde a distribuição de entradas durante o treinamento difere daquela durante a inferência.

Lançamento e Impacto

O BERT foi originalmente implementado em dois tamanhos de modelo: BERTBASE (110 milhões de parâmetros) e BERTLARGE (340 milhões de parâmetros). Ambos foram treinados no Toronto BookCorpus (800 milhões de palavras) e na Wikipédia em inglês (2.500 milhões de palavras). Os pesos foram lançados no GitHub, tornando o modelo amplamente acessível. Em 11 de março de 2020, 24 modelos menores foram lançados, sendo o menor o BERTTINY com apenas 4 milhões de parâmetros.

O lançamento do BERT teve um impacto profundo no campo do processamento de linguagem natural. Ele estabeleceu novos padrões de referência em várias tarefas, incluindo resposta a perguntas, análise de sentimentos e reconhecimento de entidades nomeadas. Sua popularização do paradigma de pré-treinamento e ajuste fino influenciou modelos subsequentes, como GPT-2 e RoBERTa. O BERT também inspirou pesquisas em interpretabilidade, com a "BERTologia" emergindo como um campo para entender as representações internas aprendidas pelo modelo.

Lançamento e Impacto

O BERT foi originalmente implementado em inglês em dois tamanhos: BERTBASE (110 milhões de parâmetros) e BERTLARGE (340 milhões de parâmetros). Ambos foram treinados no Toronto BookCorpus (800 milhões de palavras) e na Wikipédia em inglês (2.500 milhões de palavras). Os pesos foram lançados no GitHub, tornando o modelo amplamente acessível. Em 11 de março de 2020, 24 modelos menores foram lançados, sendo o menor deles o BERTTINY com 4 milhões de parâmetros.

O lançamento do BERT teve um impacto profundo no campo do processamento de linguagem natural. Ele estabeleceu novos padrões de referência em uma ampla gama de tarefas, incluindo resposta a perguntas, análise de sentimentos e reconhecimento de entidades nomeadas. Seu sucesso popularizou o paradigma de pré-treinamento e ajuste fino, influenciando modelos subsequentes como GPT-2 e RoBERTa. O BERT também inspirou pesquisas em interpretabilidade, com a "BERTologia" emergindo como um campo para entender as representações internas aprendidas pelo modelo.

Legado

As incorporações contextuais do BERT foram aplicadas a inúmeras tarefas, incluindo resolução de correferência, resolução de polissemia e tradução automática. Sua arquitetura foi adaptada para vários idiomas e domínios, e ele permanece como uma linha de base para muitos sistemas de PLN. Em 2026, o BERT continua sendo uma ferramenta fundamental na pesquisa e em aplicações industriais de PLN, apesar do surgimento de modelos maiores como GPT-3 e T5. Sua influência é evidente no desenvolvimento de grandes modelos de linguagem e na adoção generalizada de arquiteturas baseadas em transformadores.

O lançamento do BERT também impulsionou avanços em variantes eficientes, como DistilBERT e ALBERT, que visam reduzir custos computacionais enquanto mantêm desempenho. Os princípios de design do modelo, incluindo modelagem de linguagem mascarada e predição de próxima frase, foram incorporados a muitas arquiteturas subsequentes, consolidando o BERT como uma pedra angular do PLN moderno.