GPT-2 (Generative Pre-trained Transformer 2) é um modelo de linguagem de grande escala desenvolvido pela OpenAI, representando a segunda iteração em sua série fundamental de GPT. Foi pré-treinado em um conjunto de dados de 8 milhões de páginas da web e demonstrou avanços significativos em geração de texto, tradução, sumarização e resposta a perguntas. O modelo foi inicialmente retido da divulgação pública devido a preocupações sobre uso indevido potencial, mas foi eventualmente totalmente lançado em novembro de 2019.
O GPT-2 é uma ampliação direta de seu predecessor, o GPT-1, com um aumento de dez vezes tanto no número de parâmetros quanto no tamanho do conjunto de dados de treinamento. Ele emprega uma arquitetura transformadora, que usa mecanismos de atenção para focar seletivamente em partes relevantes do texto de entrada, permitindo maior paralelização e superando modelos anteriores baseados em RNN/CNN/LSTM. Sua capacidade de aprendizado de propósito geral permitiu que ele realizasse várias tarefas ao prever com precisão o próximo item em uma sequência, embora pudesse se tornar repetitivo ou sem sentido em passagens mais longas. O GPT-2 foi superado por modelos posteriores como GPT-3 e GPT-4, que não são mais de código aberto.
Treinamento e Arquitetura
O treinamento do GPT-2 aproveitou a capacidade da arquitetura transformadora para paralelização massiva, permitindo que fosse treinado em corpora maiores do que modelos anteriores de processamento de linguagem natural. A OpenAI inicialmente considerou o CommonCrawl, um grande corpus rastreado da web, mas o rejeitou devido a conteúdo ininteligível. Em vez disso, eles desenvolveram um novo corpus chamado WebText, criado ao raspar páginas vinculadas a postagens do Reddit com pelo menos 3 de karma antes de dezembro de 2017. O corpus foi limpo analisando HTML para texto simples, removendo duplicatas e excluindo páginas da Wikipédia para evitar sobreajuste.
O custo de treinamento do GPT-2 é estimado em aproximadamente $43.000, com base em uma declaração de Andrej Karpathy, usando 32 chips TPU v3 por 168 horas a cerca de $8 por chip por hora. Outras fontes citam um custo de cerca de $256 por hora. Em comparação, treinar BERT e XLNet custou $6.912 e $245.000, respectivamente. A arquitetura do GPT-2 é uma rede neural profunda com um transformador gerativo pré-treinado, implementando atenção em vez de recorrência ou convolução.
Lançamento e Restrições Iniciais
O GPT-2 foi anunciado em 14 de fevereiro de 2019. Ao contrário dos modelos anteriores da OpenAI, o código-fonte não foi imediatamente lançado, citando riscos de uso malicioso. Acesso limitado foi concedido a veículos de imprensa selecionados, e a OpenAI demonstrou uma versão ajustada para gerar avaliações de produtos, que poderia ser usada para evadir filtros de spam. Pesquisadores como Jeremy Howard alertaram sobre o potencial de preencher a web com prosa convincente, enquanto o Allen Institute for Artificial Intelligence anunciou uma ferramenta de detecção para "notícias falsas neurais".
As opiniões foram divididas sobre a ameaça. Alguns, como Anima Anandkumar, chamaram as restrições de "BS malicioso", enquanto The Gradient publicou uma carta aberta comparando a tecnologia à prensa de tipos e ao Photoshop. Apesar da controvérsia, a OpenAI lançou uma versão parcial com 774 milhões de parâmetros em 20 de agosto de 2019, e o modelo completo de 1,5 bilhão de parâmetros em 5 de novembro de 2019.
Variantes do Modelo e Replicações
A série GPT-2 incluiu quatro modelos de tamanhos variados, lançados em etapas. O menor modelo foi disponibilizado em fevereiro de 2019, com modelos maiores seguindo. O modelo completo de 1,5 bilhão de parâmetros foi o lançamento final. Os métodos do modelo foram descritos em publicações, permitindo que outros o replicassem como software livre. Uma dessas replicações, OpenGPT-2, foi lançada em agosto de 2019 com uma versão licenciada livremente do WebText chamada OpenWebText, a um custo computacional de aproximadamente $50.000.
Impacto e Legado
O lançamento do GPT-2 marcou um marco significativo em IA generativa, demonstrando o potencial de transformadores em grande escala. Sua capacidade de gerar texto coerente foi elogiada por veículos como The Verge e The Guardian, embora tenha sido notado que passagens longas poderiam se tornar repetitivas. A retenção inicial do modelo gerou debates sobre acesso aberto e segurança na pesquisa de IA, influenciando discussões futuras sobre desenvolvimento responsável de IA. O GPT-2 foi sucedido pelo GPT-3 e GPT-4, que continuaram a avançar o campo, mas se afastaram da disponibilidade de código aberto.