GPT-2 (Generative Pretrained Transformer 2) é um modelo de linguagem de grande escala desenvolvido pela OpenAI e anunciado pela primeira vez em fevereiro de 2019. Construído sobre a arquitetura Transformer, o GPT-2 foi treinado no WebText, um conjunto de dados com cerca de 8 milhões de páginas da web, usando um objetivo puramente autorregressivo de previsão do próximo token, seguindo diretamente o modelo GPT original, menor, lançado em 2018.
Lançamento escalonado
O GPT-2 tornou-se amplamente conhecido não principalmente por sua arquitetura, mas pela forma como a OpenAI o lançou. O modelo completo continha 1,5 bilhão de parâmetros, um tamanho incomumente grande para um modelo de linguagem público na época, e gerava texto coerente de vários parágrafos a partir de prompts curtos, com uma fluência que surpreendeu muitos pesquisadores. Citando preocupações sobre usos maliciosos, como a geração de notícias falsas, spam e personificação em escala, a OpenAI inicialmente se recusou a divulgar o modelo completo de 1,5B de parâmetros, publicando apenas versões menores enquanto estudava possíveis usos indevidos. Essa decisão, apresentada publicamente como o modelo sendo "perigoso demais para ser lançado", atraiu críticas significativas de partes da comunidade de pesquisa, que argumentaram que era excessivamente cautelosa, uma tática de marketing ou estabelecia um precedente estranho para reter resultados de pesquisa. A OpenAI reverteu o curso de forma incremental, lançando o modelo completo de 1,5B de parâmetros em novembro de 2019, após relatar que seu estudo de lançamento escalonado não encontrou evidências fortes dos usos indevidos que temia naquela escala.
Significância
O GPT-2 foi um dos primeiros modelos a demonstrar forte desempenho em tarefas de zero-shot, gerando resumos, traduções e respostas a perguntas sem ajuste fino específico para a tarefa, simplesmente sendo estimulado com exemplos em linguagem natural, uma ilustração inicial do que mais tarde seria formalizado como aprendizado com poucos exemplos e aprendizado em contexto em seu sucessor, o GPT-3. Sua escala, cerca de dez vezes maior que a do GPT original, também serviu como um ponto de dados inicial que apoiava o que os pesquisadores descreveriam mais formalmente como leis de escala: que aumentar o tamanho do modelo e dos dados melhorava previsivelmente o desempenho na modelagem de linguagem.
Legado
A estratégia de lançamento do GPT-2 tornou-se um estudo de caso amplamente citado na governança de IA e no debate sobre segurança de IA, prefigurando argumentos posteriores e mais sustentados sobre lançamentos de modelos abertos versus fechados, que ressurgiram com sistemas como o LLaMA e outros modelos de pesos abertos. Dentro da própria linha de produtos da OpenAI, a arquitetura e a abordagem de treinamento do GPT-2 formaram a base direta para o GPT-3, lançado no ano seguinte com mais de 100 vezes o número de parâmetros, e, em última análise, para o produto ChatGPT, que trouxe a linhagem GPT à atenção mainstream em 2022. O pesquisador Alec Radford e colegas da OpenAI são creditados como os principais autores do GPT-2.