O Generative Pre-trained Transformer 2 (GPT-2) é um modelo de linguagem de grande escala desenvolvido pela OpenAI e o segundo em sua série fundacional de modelos GPT. Ele foi pré-treinado em um conjunto de dados de 8 milhões de páginas da web e foi parcialmente lançado em fevereiro de 2019, seguido pelo lançamento completo do modelo de 1,5 bilhão de parâmetros em 5 de novembro de 2019. O GPT-2 foi criado como uma expansão direta de seu predecessor, o GPT-1, com um aumento de dez vezes tanto no número de parâmetros quanto no tamanho do conjunto de dados de treinamento. É um aprendiz de propósito geral cuja capacidade de realizar várias tarefas era uma consequência de sua habilidade geral de prever com precisão o próximo item em uma sequência, permitindo-lhe traduzir textos, responder perguntas, resumir passagens e gerar saídas de texto às vezes indistinguíveis da escrita humana, embora pudesse se tornar repetitivo ou sem sentido em passagens longas.
O GPT-2, como seu predecessor e sucessores, usa uma arquitetura de transformador pré-treinada generativa, implementando uma rede neural profunda que depende de mecanismos de atenção em vez de arquiteturas mais antigas baseadas em recorrência e convolução. Isso permite que o modelo se concentre seletivamente em segmentos de entrada relevantes e aumenta muito a paralelização, superando benchmarks anteriores para modelos baseados em RNN/CNN/LSTM. Ele foi sucedido pelo GPT-3 e pelo GPT-4, que não são mais de código aberto.
Treinamento
Como a arquitetura transformador permitia uma paralelização massiva, os modelos GPT puderam ser treinados em corpora maiores do que os modelos anteriores de processamento de linguagem natural. Enquanto o GPT-1 demonstrou que a abordagem era viável, o GPT-2 explorou propriedades emergentes de redes treinadas em corpora extremamente grandes. O CommonCrawl, um grande corpus rastreado da web, foi considerado, mas rejeitado devido à grande quantidade de conteúdo ininteligível. Em vez disso, a OpenAI desenvolveu um novo corpus chamado WebText, gerado ao extrair apenas páginas vinculadas a postagens do Reddit que haviam recebido pelo menos 3 pontos de karma antes de dezembro de 2017. O corpus foi limpo analisando HTML em texto simples, eliminando páginas duplicadas e removendo páginas da Wikipédia para evitar sobreajuste.
A documentação sobre o custo de treinamento é limitada. De acordo com uma declaração de Andrej Karpathy, o GPT-2 foi treinado em 32 chips TPU v3 por 168 horas (7 dias) a aproximadamente US$ 8 por TPU v3 por hora, totalizando cerca de US$ 43.000 em custo de computação. Outras fontes citam um custo de treinamento de aproximadamente US$ 256 por hora. Modelos comparáveis como BERT e XLNet consumiram US$ 6.912 e US$ 245.000 em recursos, respectivamente.
Lançamento
O GPT-2 foi anunciado pela primeira vez em 14 de fevereiro de 2019. Um artigo de fevereiro de 2019 no The Verge, de James Vincent, observou que, embora a escrita que ele produz seja geralmente facilmente identificável como não humana, continuava sendo um dos exemplos mais empolgantes de programas de geração de linguagem. O The Guardian descreveu sua saída como prosa jornalística plausível, e Kelsey Piper, da Vox, disse que era um dos sistemas de IA mais legais que ela já tinha visto. O The Verge destacou sua flexibilidade em traduzir textos, resumir artigos e responder perguntas de trivia. A série GPT-2 continha quatro modelos, relatados no artigo, que não foram lançados todos de uma vez, mas em etapas.
Restrições e lançamento parcial
Ao contrário dos modelos anteriores da OpenAI, a OpenAI inicialmente se recusou a fazer um lançamento público do código-fonte do GPT-2, citando o risco de uso malicioso. Acesso limitado foi permitido para veículos de imprensa selecionados. Uma justificativa era que o texto gerado poderia ser usado por spammers para evadir filtros; a OpenAI demonstrou uma versão ajustada para gerar infinitas avaliações de produtos positivas ou negativas. Outra justificativa era o potencial para gerar texto obsceno ou racista. Pesquisadores como Jeremy Howard alertaram sobre a tecnologia enchendo as mídias sociais com prosa de som razoável, e o Allen Institute for Artificial Intelligence anunciou uma ferramenta para detectar notícias falsas neurais.
A opinião estava dividida. Um artigo de fevereiro de 2019 no The Verge argumentou que a ameaça era exagerada. Anima Anandkumar, professora da Caltech e diretora de pesquisa de aprendizado de máquina na Nvidia, disse que não havia evidências de que o GPT-2 representasse as ameaças descritas e caracterizou a recusa como o oposto de aberto. O The Gradient publicou uma carta aberta solicitando o lançamento público, comparando a ameaça à da imprensa escrita e citando o Photoshop como um exemplo de tecnologia que não destruiu a sociedade apesar de seu potencial para o caos.
Lançamento do modelo de 774M
Embora a OpenAI não tenha lançado o modelo totalmente treinado ou os corpora, as descrições dos métodos e a disponibilidade gratuita da tecnologia subjacente permitiram a replicação por outros. Uma replicação, o OpenGPT-2, foi lançada em agosto de 2019 com uma versão licenciada gratuitamente do WebText chamada OpenWebText, com custos de computação em nuvem em torno de US$ 50.000. Em 20 de agosto de 2019, a OpenAI lançou uma versão parcial do GPT-2 com 774 milhões de parâmetros, aproximadamente metade do tamanho do modelo completo, seguida pelo lançamento completo de 1,5 bilhão de parâmetros em 5 de novembro de 2019.
Impacto e legado
O lançamento em etapas do GPT-2 gerou debates sobre segurança de IA e abertura na comunidade de inteligência artificial. Ele demonstrou que modelos de aprendizado profundo em grande escala poderiam realizar múltiplas tarefas sem treinamento explícito, influenciando pesquisas subsequentes em IA generativa. A arquitetura do modelo e a abordagem de treinamento tornaram-se uma base para desenvolvimentos posteriores, incluindo o GPT-3 e além, e sua estratégia de lançamento estabeleceu um precedente para como a OpenAI e outras organizações, como Anthropic e Google DeepMind, lidam com a implantação de modelos de linguagem poderosos. O GPT-2 também destacou o potencial de uso indevido, levando ao desenvolvimento de ferramentas de detecção e discussões sobre publicação responsável de IA.
Detalhes técnicos
O modelo GPT-2 usa uma arquitetura de transformador somente decodificador com atenção multi-cabeça e codificação posicional. Foi treinado usando o otimizador Adam com um cronograma de taxa de aprendizado e recorte de gradiente. Os tamanhos dos modelos variaram de 117 milhões a 1,5 bilhão de parâmetros, com a maior versão usando 48 camadas e embeddings de 1600 dimensões. Durante a inferência, o GPT-2 emprega amostragem top-k e escalonamento de temperatura para gerar texto diversificado. Seus dados de treinamento, o WebText, foram projetados para evitar o ruído da extração indiscriminada da web, focando em links de alta qualidade e curados por humanos do Reddit.
Recepção e críticas
A recepção inicial foi mista, com elogios por suas conquistas técnicas e críticas ao seu lançamento restrito. Alguns pesquisadores argumentaram que as preocupações com segurança eram exageradas, enquanto outros apoiaram a abordagem cautelosa. A capacidade do modelo de gerar texto coerente a partir de prompts mínimos foi vista como um passo significativo no aprendizado de máquina, mas suas limitações, como repetição em saídas longas, também foram notadas. O lançamento do GPT-2 influenciou esforços subsequentes de código aberto e discussões políticas sobre governança de IA, contribuindo para o campo mais amplo da ética em inteligência artificial.