RoBERTa (Robustly optimized BERT pretraining approach) é um modelo de linguagem introduzido em 2019 por pesquisadores da Facebook AI. É uma variante do BERT que modifica o procedimento de pré-treinamento para alcançar melhor desempenho em tarefas downstream de processamento de linguagem natural. RoBERTa mantém a arquitetura Transformer (architecture) apenas com codificador do BERT, mas altera detalhes-chave de treinamento, incluindo mascaramento dinâmico, tamanhos de lote maiores e a remoção do objetivo de predição da próxima frase. Esses ajustes levam a representações melhoradas e pontuações mais altas em benchmarks como GLUE e SQuAD.
O modelo foi lançado como um projeto de código aberto, com pesos e código disponibilizados para a comunidade de pesquisa. RoBERTa rapidamente se tornou uma linha de base comum na pesquisa em PLN e influenciou modelos subsequentes como XLNet e ALBERT. Seu sucesso destacou a importância dos hiperparâmetros de pré-treinamento e da escala de dados em modelos de aprendizado profundo.
Arquitetura
RoBERTa usa a mesma arquitetura de transformer apenas com codificador do BERT. Consiste em um tokenizador, uma camada de embeddings, uma pilha de blocos transformer e uma cabeça de tarefa para pré-treinamento. O tokenizador é WordPiece, com um tamanho de vocabulário de 30.000, e tokens desconhecidos são substituídos por um token especial [UNK]. A camada de embeddings combina embeddings de tipo de token, posição e tipo de segmento, que são somados e normalizados via LayerNorm para produzir um vetor de 768 dimensões para cada token no modelo base.
A pilha do codificador é parametrizada pelo número de camadas (L) e tamanho oculto (H), com cabeças de autoatenção iguais a H/64 e tamanho feed-forward 4H. RoBERTa está disponível em configurações como base (12L/768H) e grande (24L/1024H), correspondendo aos tamanhos do BERT. Para tarefas downstream, a cabeça de tarefa é tipicamente substituída por um módulo específico da tarefa, e o modelo é ajustado, permitindo transferência de aprendizado eficiente.
Diferenças de Treinamento
RoBERTa modifica o pré-treinamento do BERT de várias maneiras. A mudança mais notável é o uso de mascaramento dinâmico, onde os tokens mascarados são gerados em tempo real durante o treinamento, em vez de usar uma máscara estática aplicada uma vez aos dados. Isso aumenta a diversidade dos exemplos de treinamento e ajuda o modelo a generalizar melhor. Além disso, RoBERTa remove a tarefa de predição da próxima frase (NSP), que o BERT usava para aprender relações entre frases. Estudos mostraram que NSP não era necessário para um bom desempenho, e sua remoção simplificou o objetivo de treinamento.
RoBERTa também treina com tamanhos de lote maiores e por mais passos do que o BERT, usando um corpus maior que inclui dados adicionais além do BookCorpus e Wikipedia originais. O treinamento usa um tokenizador de codificação por pares de bytes (BPE) em nível de byte, que lida com palavras fora do vocabulário de forma mais elegante que o WordPiece. Essas mudanças contribuem coletivamente para o desempenho melhorado do RoBERTa.
Desempenho e Impacto
RoBERTa alcançou resultados de estado da arte em vários benchmarks na época de seu lançamento. No benchmark GLUE, superou o BERT e outros modelos, atingindo uma pontuação de 88,5, em comparação com 82,1 do BERT. No SQuAD 2.0, alcançou uma pontuação F1 de 89,4, superando modelos anteriores. Esses resultados demonstraram que a otimização cuidadosa do pré-treinamento pode gerar ganhos significativos sem mudanças arquiteturais.
O sucesso do modelo estimulou mais pesquisas em estratégias de pré-treinamento, levando a desenvolvimentos como GPT-3 e outros modelos em larga escala. RoBERTa também se tornou uma ferramenta padrão para tarefas como classificação de texto, resposta a perguntas e reconhecimento de entidades nomeadas. Sua disponibilidade de código aberto facilitou a adoção generalizada tanto na academia quanto na indústria.
Aplicações
RoBERTa é usado em uma variedade de aplicações de processamento de linguagem natural. Serve como base para análise de sentimentos, onde classifica texto como positivo ou negativo. Em resposta a perguntas, pode extrair respostas de passagens, como demonstrado no SQuAD. Também é aplicado a sumarização de texto, inferência de linguagem e tarefas de similaridade semântica. Muitos sistemas de produção, incluindo aqueles em atendimento ao cliente e moderação de conteúdo, integraram modelos baseados em RoBERTa.
Como RoBERTa é um modelo pré-treinado, pode ser ajustado em conjuntos de dados específicos com relativamente poucos exemplos, tornando-o prático para domínios com dados rotulados limitados. Sua robustez e desempenho o tornaram uma escolha preferida para muitos pipelines de PLN, mesmo com o surgimento de modelos mais novos.
Legado
RoBERTa teve uma influência duradoura no campo do aprendizado de máquina. Destacou a importância da dinâmica de treinamento e da qualidade dos dados, levando pesquisadores a revisitar protocolos de pré-treinamento. Os princípios de design do modelo, como mascaramento dinâmico e a remoção de objetivos auxiliares, foram adotados em modelos subsequentes como DeBERTa e ELECTRA. RoBERTa permanece um ponto de referência para avaliar novos métodos de pré-treinamento e continua a ser usado em pesquisa e indústria até 2026.