GPT-2 (Generative Pre-trained Transformer 2) é um modelo de linguagem de grande escala desenvolvido pela OpenAI, anunciado em 14 de fevereiro de 2019. É o segundo modelo da série GPT fundamental da OpenAI, sucedendo o GPT-1 e precedendo o GPT-3. O GPT-2 foi pré-treinado em um conjunto de dados de 8 milhões de páginas da web, e sua capacidade de gerar texto coerente e contextualmente relevante foi vista como um avanço significativo em IA generativa. O modelo foi inicialmente retido durante seu lançamento parcial, com a versão completa de 1,5 bilhão de parâmetros tornando-se disponível apenas em 5 de novembro de 2019. Devido à sua capacidade de traduzir idiomas, responder perguntas e resumir passagens, pesquisadores e comentaristas destacaram seu potencial tanto para usos benéficos quanto para uso indevido, como a geração de spam ou a criação de notícias falsas.
Arquitetura
Assim como seu predecessor GPT-1 e seus sucessores, o GPT-2 usa uma arquitetura de aprendizado profundo transformadora, que é um tipo de rede neural que implementa um mecanismo conhecido como atenção. Esse mecanismo de atenção demonstrou melhorar o desempenho em tarefas que envolvem previsão sequência a sequência. Ao contrário de modelos mais antigos baseados em recorrência ou convolução, o mecanismo de atenção do transformador permite que o modelo processe texto de entrada em paralelo, o que pode aumentar muito a velocidade de treinamento e inferência. A arquitetura do modelo foi descrita como uma escala superior do GPT-1, com um aumento de fator 10 em seu número de parâmetros (1,5 bilhão) e no tamanho dos dados de treinamento. Essa paralelização, alcançada em hardware especializado, permitiu o treinamento em um corpus maior do que era anteriormente viável, o que contribuiu para sua capacidade de lidar com tarefas gerais de aprendizado de máquina.
Treinamento
O GPT-2 foi treinado no WebText, um corpus de mais de 100 gigabytes de texto extraído de links externos no Reddit que receberam pelo menos 3 pontos de karma antes de dezembro de 2017. O Reddit foi usado como um proxy para conteúdo curado por humanos, filtrando páginas de baixa qualidade. O HTML foi analisado em texto simples, links duplicados foram eliminados e páginas da Wikipédia foram removidas do conjunto de treinamento para evitar sobreajuste, pois esses artigos frequentemente aparecem em muitos outros conjuntos de dados. O CommonCrawl, apesar de seu tamanho, foi rejeitado devido à grande quantidade de conteúdo ininteligível que continha. A infraestrutura para treinar o GPT-2 usou 32 chips TPU v3 por 168 horas, custando aproximadamente US$ 43.000 em computação, conforme declarado por Andrej Karpathy, um pesquisador associado ao projeto na época. Isso foi relativamente baixo para um modelo de seu tamanho, devido à eficiência do transformador. O resultado foi um modelo que podia produzir texto em um nível às vezes indistinguível de saídas humanas, embora pudesse se tornar repetitivo ou sem sentido em passagens mais longas, uma limitação que futuros modelos de linguagem de grande escala visavam melhorar.
Lançamento Parcial
A decisão inicial da OpenAI de não liberar imediatamente o modelo completo foi baseada na preocupação de que o modelo pudesse ser usado para fins maliciosos, como gerar spam ou desinformação. A empresa lançou uma versão parcial com 774 milhões de parâmetros em 20 de agosto de 2019, cerca de metade do tamanho do original (também conhecida como lançamento 774M). Esse lançamento parcial foi feito para permitir que pesquisadores entendessem o comportamento do modelo enquanto mitigavam o uso indevido, e a abordagem da OpenAI gerou reações negativas de alguns pesquisadores, incluindo Anima Anandkumar, que afirmou que a ameaça era exagerada. Outros, no entanto, argumentaram que o modelo poderia ser usado para preencher mídias sociais com prosa indistinguível, e o Allen Institute for Artificial Intelligence construiu um detector de notícias falsas neurais em resposta.
Em um artigo de fevereiro de 2019 no The Verge, James Vincent escreveu que as saídas do GPT-2 eram frequentemente claramente não humanas, mas ainda assim "um dos exemplos mais empolgantes" de IA de geração de linguagem. O artigo demonstrou que, com um título falso, o modelo podia escrever o restante do artigo com citações e estatísticas falsas, e até mesmo escrever ficção com prompts apropriados. Kelsey Piper, da Vox, escreveu que "um dos sistemas de IA mais legais que já vi também pode ser o que vai me expulsar"; no entanto, ela descreveu sua saída por uma lente neutra. O Guardian descreveu seu texto como "prosa de jornal plausível".
Apesar do lançamento parcial, a OpenAI reteve o código do modelo completo e o corpus. Isso levou a várias saídas de terceiros. Em agosto de 2019, a replicação de software livre OpenGPT-2 foi produzida usando o OpenWebText, que custou cerca de US$ 50.000 em computação. Isso ilustra a pesquisa e o desenvolvimento abertos que se seguiram ao lançamento inicial do modelo.
Impacto Ético e Social
A decisão de atrasar o lançamento completo do GPT-2 iniciou um debate público sobre os riscos e benefícios da tecnologia de inteligência artificial. Alguns pesquisadores descartaram os perigos percebidos, observando que as ameaças poderiam ser mitigadas, enquanto outros alertaram sobre uma inundação iminente de texto sintético que poderia afogar a fala humana autêntica. Houve até mesmo um lançamento parcial de um modelo ajustado para gerar avaliações de produtos positivas ou negativas, uma demonstração do potencial de spam. Em resposta ao hype e à política de aberto a aberto, um grupo de pesquisadores publicou uma carta aberta solicitando o lançamento completo, afirmando que os modelos de linguagem não são tão ameaçadores quanto foram apresentados, citando tecnologias como Photoshop e a prensa de impressão, que foram mal utilizadas, mas também integradas à vida cotidiana.
O efeito de longo prazo do lançamento retido foi que aumentou a conscientização pública sobre modelos de linguagem de grande escala e suas capacidades. O GPT-2 foi eventualmente usado como foco em segurança de inteligência artificial, influenciando modelos de código aberto subsequentes. Foi posteriormente superado pelo GPT-3 e GPT-4; a partir de 2024, o GPT-3 e o GPT-4, que não são mais de código aberto, tornaram-se mais proeminentes. O episódio serviu como um ponto importante para considerações sobre como equilibrar transparência e precaução ao desenvolver sistemas de IA poderosos.
Legado
O GPT-2 representou um desenvolvimento significativo no campo do aprendizado profundo, tornando-se um padrão de referência para modelos de linguagem subsequentes. Sua capacidade de servir como um aprendiz de propósito geral, baseando-se na previsão do próximo item em uma sequência, e não em dados específicos de tarefa, foi um passo fundamental para transformadores posteriores. O número de parâmetros do modelo e o tamanho do corpus de treinamento estabeleceram um caminho para a escalabilidade de modelos de redes neurais. Consequentemente, as demandas computacionais da IA generativa aumentaram, e o GPT-2 é considerado um marco na história da inteligência artificial. Seus princípios de treinamento continuaram a influenciar o desenvolvimento e a arquitetura de modelos de linguagem de grande escala em vários campos, e o modelo permanece um ponto de referência bem estudado para entender a emergência e o aprendizado de máquina.