GPT-3 (Generative Pretrained Transformer 3) é um modelo de linguagem de grande escala desenvolvido pela OpenAI e introduzido em um artigo de maio de 2020, "Language Models are Few-Shot Learners", com acesso mais amplo à API ocorrendo ao longo do restante de 2020. Como seu predecessor GPT-2, o GPT-3 é construído sobre a arquitetura Transformer e treinado com um objetivo autorregressivo de previsão do próximo token, mas ampliado dramaticamente para 175 bilhões de parâmetros, mais de 100 vezes maior que o modelo completo do GPT-2, treinado em uma mistura de textos do Common Crawl, livros e Wikipédia.
Aprendizado com poucos exemplos
A principal contribuição de pesquisa do GPT-3 foi demonstrar que um modelo de linguagem suficientemente grande poderia executar uma ampla gama de tarefas, incluindo tradução, resposta a perguntas, aritmética e raciocínio simples, dado apenas um punhado de exemplos em seu prompt, sem qualquer ajuste fino baseado em gradientes. Essa capacidade, descrita pelos pesquisadores da OpenAI, incluindo o autor principal Tom Brown, como aprendizado com poucos exemplos e, mais geralmente, como aprendizado em contexto, sugeriu que a escala sozinha poderia substituir o treinamento específico para tarefas, uma descoberta que reforçou crenças emergentes sobre leis de escala na modelagem de linguagem e moldou as prioridades de pesquisa subsequentes em todo o campo.
Lançamento comercial
Em vez de liberar publicamente os pesos do GPT-3, como havia eventualmente feito com o GPT-2, a OpenAI disponibilizou o GPT-3 exclusivamente por meio de uma API paga a partir de junho de 2020, inicialmente em versão beta privada. Essa decisão estabeleceu um modelo de negócios, posteriormente adotado amplamente na indústria, no qual modelos de linguagem de fronteira são acessados como um serviço de nuvem medido, em vez de baixados e executados localmente, um contraste com os modelos de pesos abertos lançados por concorrentes em anos posteriores. A API rapidamente atraiu uma onda de startups construindo produtos sobre o GPT-3, incluindo primeiros assistentes de escrita com IA, chatbots e ferramentas de geração de código, e a Microsoft obteve separadamente uma licença exclusiva para os pesos subjacentes do modelo GPT-3 em 2020, como parte de seu investimento mais amplo na OpenAI.
Impacto e limitações
O GPT-3 foi amplamente coberto pela imprensa mainstream e de tecnologia como evidência de que os modelos de linguagem estavam se aproximando de capacidades qualitativamente novas, e informou diretamente o desenvolvimento de variantes ajustadas por instruções, treinadas com técnicas incluindo RLHF, trabalho que culminou no lançamento do ChatGPT em novembro de 2022, construído sobre uma variante do GPT-3.5. O GPT-3 também atraiu críticas substanciais por sua tendência a produzir saídas fluentes, mas factualmente incorretas, um exemplo inicial proeminente do que o campo mais tarde chamou de alucinação, bem como por reproduzir vieses presentes em seus dados de treinamento. Seu sucessor, GPT-4, foi lançado em março de 2023 com capacidades substancialmente expandidas, incluindo entrada multimodal.