BERT (Bidirectional Encoder Representations from Transformers) é um modelo de representação de linguagem lançado pelo Google em outubro de 2018. Foi uma das primeiras aplicações amplamente influentes da arquitetura Transformer (architecture) para compreensão de linguagem, e seu lançamento é frequentemente citado como um ponto de virada que tornou o pré-treinamento baseado em transformers o paradigma dominante em processamento de linguagem natural.
Arquitetura e treinamento
O BERT utiliza apenas a metade do codificador da arquitetura transformer, em contraste com o design autoregressivo baseado em decodificador, posteriormente usado pela série GPT. Ele é treinado com dois objetivos autossupervisionados: modelagem de linguagem mascarada, na qual palavras aleatórias em uma frase são ocultadas e o modelo deve prevê-las usando contexto de ambas as direções, e predição de próxima frase, na qual o modelo aprende se uma frase plausivelmente segue outra. Esse treinamento bidirecional permitiu que o BERT construísse representações informadas simultaneamente pelo contexto precedente e seguinte, uma vantagem sobre abordagens unidirecionais anteriores ou superficialmente bidirecionais, como word2vec e ELMo.
O BERT foi lançado em vários tamanhos, mais notavelmente BERT-base (110 milhões de parâmetros) e BERT-large (340 milhões de parâmetros), modestos pelos padrões posteriores, mas grandes para sua época, e o Google publicou os pesos pré-treinados abertamente, permitindo que pesquisadores ajustassem finamente o modelo para tarefas específicas downstream, como resposta a perguntas, análise de sentimentos e reconhecimento de entidades nomeadas, com quantidades comparativamente pequenas de dados específicos da tarefa.
Impacto
No lançamento, o BERT alcançou resultados de última geração em uma ampla gama de benchmarks de NLP, incluindo o conjunto GLUE e o conjunto de dados de resposta a perguntas SQuAD, frequentemente por uma margem substancial sobre métodos anteriores. Seu paradigma de "pré-treinar e depois ajustar finamente" foi rapidamente adotado em todo o campo e influenciou diretamente o design de modelos subsequentes de codificador e codificador-decodificador. O Google incorporou o BERT em seus sistemas centrais de classificação de busca a partir de 2019, descrevendo-o como uma das melhorias mais significativas em relevância de busca em anos, particularmente para entender a intenção por trás de consultas mais longas e conversacionais.
Legado em relação aos modelos generativos
O BERT antecede a era dos grandes modelos de linguagem definida por GPT-2, GPT-3 e seus sucessores, e seu design somente codificador, não generativo, significa que ele não pode produzir texto aberto da mesma forma que modelos autoregressivos podem. Apesar disso, o BERT e seus muitos derivados (incluindo RoBERTa, ALBERT e DistilBERT) permaneceram amplamente utilizados até meados da década de 2020 para tarefas de classificação, recuperação e incorporação, onde a geração é desnecessária e a eficiência importa, e codificadores estilo BERT continuaram a servir como componentes dentro de sistemas maiores de recuperação e busca semântica, incluindo como blocos de construção em alguns pipelines de geração aumentada por recuperação. Pesquisadores como Christopher Manning e outros em NLP acadêmico apontaram o lançamento do BERT como um momento crucial que demonstrou que o pré-treinamento autossupervisionado em larga escala em texto não rotulado poderia superar métodos que dependiam principalmente de conjuntos de dados rotulados, uma lição que foi diretamente incorporada à filosofia de escalonamento por trás dos modelos de linguagem generativos posteriores.