GPT-1, lançado pela OpenAI em 11 de junho de 2018, foi o primeiro transformador generativo pré-treinado (GPT), um tipo de modelo de linguagem de grande escala baseado na arquitetura transformador. Ele introduziu uma abordagem semissupervisionada que combinava pré-treinamento generativo em texto não rotulado com ajuste fino discriminativo para tarefas linguísticas específicas, avançando significativamente o campo do processamento de linguagem natural e da inteligência artificial.
Antecedentes
Durante a década de 2010, um boom de IA impulsionado por algoritmos de aprendizado de máquina aprimorados, computadores mais potentes e dados digitalizados crescentes permitiu um progresso rápido na IA. O pré-treinamento generativo, uma forma de aprendizado autossupervisionado, já era estabelecido no aprendizado de máquina: um modelo é primeiro treinado em um grande conjunto de dados não rotulado para aprender a gerar dados e, em seguida, adaptado a uma tarefa específica com dados rotulados. A arquitetura do transformador, introduzida por pesquisadores do Google no artigo de 2017 "Attention Is All You Need", resolveu problemas de desempenho de redes neurais recorrentes mais antigas ao usar um mecanismo de atenção para processar sequências inteiras de uma só vez, permitindo modelos muito maiores e mais sofisticados.
História
Em 11 de junho de 2018, a OpenAI publicou o artigo "Improving Language Understanding by Generative Pre-Training", apresentando o GPT-1. Era um modelo baseado em transformador usando apenas a parte do decodificador, pré-treinado no BookCorpus, um corpus de texto diversificado, para prever o próximo token, seguido de ajuste fino discriminativo para tarefas específicas. Essa abordagem semissupervisionada foi um avanço, pois os melhores modelos neurais anteriores dependiam de aprendizado supervisionado caro com dados rotulados manualmente. Em 14 de fevereiro de 2019, a OpenAI lançou o GPT-2, uma expansão direta com 1,5 bilhão de parâmetros e um conjunto de dados de 40 gigabytes com 8 milhões de páginas da web, inicialmente adiado devido a preocupações com uso indevido. Em 10 de fevereiro de 2020, a Microsoft introduziu o Turing Natural Language Generation com 17 bilhões de parâmetros, afirmando ser o maior modelo de linguagem da época. Em 28 de maio de 2020, a OpenAI lançou o GPT-3 com 175 bilhões de parâmetros, avançando o aprendizado few-shot e zero-shot. Após o GPT-3, a OpenAI usou aprendizado por reforço com feedback humano para criar o InstructGPT, levando ao ChatGPT, lançado em 30 de novembro de 2022, baseado no GPT-3.5 e posteriormente no GPT-4 (lançado em 14 de março de 2023). A popularidade do ChatGPT estimulou concorrentes como PaLM e Gemini do Google, Llama da Meta AI e outros.
Modelos de Fundação
Um modelo de fundação é um modelo de IA treinado em dados amplos em escala, adaptável a muitas tarefas downstream. Os GPTs fundacionais podem empregar modalidades além do texto, como imagens e áudio. Alguns modelos generativos baseados em transformadores são usados para tecnologias de texto para imagem, incluindo difusão e decodificação paralela, servindo como modelos de fundação visuais para o desenvolvimento de sistemas de processamento de imagem.
Arquiteturas Eficientes de Transformadores
Os requisitos computacionais e de memória dos modelos de transformador aumentam significativamente com o tamanho e o comprimento da entrada, pois a autoatenção padrão tem complexidade quadrática. Pesquisadores propuseram melhorias de eficiência, como mecanismos de atenção esparsa e arquiteturas eficientes em memória, para reduzir custos e suportar contextos mais longos. Modelos como BigBird, Reformer e FlashAttention demonstram padrões de atenção estruturados ou computação otimizada, ajudando grandes modelos de linguagem a processar sequências longas com eficiência.
Impacto
A introdução do GPT-1 estabeleceu a base para os modelos GPT subsequentes e influenciou o desenvolvimento mais amplo da IA generativa. Sua abordagem semissupervisionada reduziu a dependência de dados rotulados, permitindo o treinamento em vastos corpora não rotulados. O sucesso do GPT-1 e de seus sucessores levou à adoção generalizada de modelos baseados em transformadores em várias aplicações, de chatbots à geração de conteúdo, e estimulou pesquisas sobre escalabilidade de modelos, alinhamento e eficiência.