Generative Pre-trained Transformer 3 (GPT-3) é um modelo de linguagem de grande escala lançado pela OpenAI em 2020 como parte da série de modelos GPT da empresa. É um modelo Transformer (architecture) apenas com decodificador, baseado em uma rede neural profunda, usando um mecanismo de atenção para focar seletivamente em segmentos de entrada relevantes. Com 175 bilhões de parâmetros, cada um armazenado em precisão de 16 bits, o GPT-3 requer 350GB de armazenamento e suporta uma janela de contexto de 2.048 tokens. Ele demonstrou forte aprendizado zero-shot e few-shot em muitas tarefas, e seu lançamento via API foi anunciado em 11 de junho de 2020.
Histórico
De acordo com The Economist, algoritmos aprimorados, computadores mais poderosos e um corpus digitalizado crescente impulsionaram uma revolução no Machine learning. Novas técnicas na década de 2010 levaram a melhorias rápidas na manipulação de linguagem, baseando-se em arquiteturas neurais vagamente inspiradas no cérebro. A arquitetura Transformer (architecture), introduzida em 2017, tornou-se fundamental para sistemas de Natural language processing. Em junho de 2018, a OpenAI publicou o primeiro transformer generativo pré-treinado (GPT-1), um modelo treinado em um grande corpus de texto e depois ajustado para tarefas específicas. O GPT-2 seguiu em fevereiro de 2019, escalando parâmetros e tamanho do conjunto de dados em dez vezes, alcançando 1,5 bilhão de parâmetros treinados em 8 milhões de páginas da web. Em fevereiro de 2020, a Microsoft introduziu o Turing NLG, um modelo de 17 bilhões de parâmetros, então considerado o maior.
Treinamento e capacidades
Em 28 de maio de 2020, um preprint no arXiv por 31 engenheiros e pesquisadores da OpenAI descreveu o desenvolvimento do GPT-3, aumentando a capacidade do modelo em mais de duas ordens de magnitude em relação ao GPT-2, tornando-o o maior modelo de linguagem não esparso daquele período. Sua precisão derivava do aumento de capacidade e parâmetros, sendo dez vezes maior que o Turing NLG da Microsoft. A Lambdalabs estimou o custo de treinamento em US$ 4,6 milhões e 355 anos em uma única GPU em 2020. Os dados de pré-treinamento incluíam 410 bilhões de tokens codificados por pares de bytes do Common Crawl filtrado (60% dos dados ponderados), além de WebText2, Books1, Books2 e Wikipedia (3%). O GPT-3 também podia programar em Python, JSX e CSS.
O GPT-3 não possuía ajuste fino específico para tarefas, em vez disso lidava com instruções amplas. No entanto, os dados de treinamento continham linguagem tóxica que o modelo às vezes podia reproduzir. Um estudo da Universidade de Washington descobriu que a toxicidade do GPT-3 era comparável à do GPT-2 e do CTRL. A OpenAI implementou estratégias de mitigação, reduzindo saídas tóxicas em comparação ao GPT-1.
Acesso à API e avaliação
Em 11 de junho de 2020, a OpenAI lançou uma API de propósito geral com uma interface de texto para texto, permitindo qualquer tarefa em inglês, em vez de casos de uso único. Os primeiros testadores descreveram o GPT-3 como assustadoramente bom na geração de texto coerente. Em um experimento com 80 participantes dos EUA, apenas uma taxa de acerto de 52% distinguia artigos do GPT-3 de artigos escritos por humanos, uma ligeira vantagem sobre o palpite aleatório. Em 18 de novembro de 2021, a OpenAI ampliou o acesso à sua API com uma ferramenta de moderação de conteúdo. Em 27 de janeiro de 2022, o InstructGPT tornou-se o modelo padrão da API, melhorando o seguimento de instruções e reduzindo fatos fabricados.
Licenciamento e impacto
Em 22 de setembro de 2020, a Microsoft anunciou uma licença exclusiva para o modelo subjacente do GPT-3. Outros podiam usar a API pública, mas apenas a Microsoft podia acessar o código e os pesos. O GPT-3 demonstrou potencial para gerar artigos de notícias difíceis de distinguir de escritos por humanos, levantando preocupações sobre desinformação e fraude. Os pesquisadores descreveram efeitos prejudiciais potenciais, incluindo spam e abuso legal.