Generative Pre-trained Transformer 3 (GPT-3) é um modelo de linguagem de grande escala lançado pela OpenAI em 2020 como parte da série GPT da empresa. É um modelo transformador somente-decodificador de arquitetura de rede neural de aprendizado profundo, que supera os designs baseados em recorrência e convolução com um mecanismo de atenção que permite ao modelo focar seletivamente em segmentos relevantes do texto de entrada. O GPT-3 tem 175 bilhões de parámetros, cada um armazenado com precisão de 16 bits, exigendo 350 GB de armazenamento, e uma janela de contexto de 2.048 tokens. Demonstrou fortes capacidades de aprendizado zero-shot e few-shot em muitas tarefas.
Em 22 de setembro de 2020, a Microsoft anunciou que havia licenciado o GPT-3 exclusivamente. Outros ainda podiam receber a saída de sua API pública, mas apenas a Microsoft tinha acesso ao modelo subyacente.
Antecedentes
Melhorias em algoritmos, computadores mais potentes e material digitalizado crescente impulsionaram uma revolução no aprendizado automático durante a década de 2010, levando a rápidas melhorias em tarefas incluindo a manipulação de linguagem. Modelos de software são treinados usando milhares ou milhões de exemplos em estruturas vagamente baseadas na arquitetura neural do cérebro. Uma arquitetura usada no processamento de linguagem natural é uma rede neural baseada na arquitetura transformadora, introducida em 2017. Isso permitiu sistemas capazes de processar, minerar, organizar, conectar e contrastar entrada textual, além de responder perguntas.
Em 11 de junho de 2018, pesquisadores da OpenAI publicaram um artigo introduciendo o primeiro transformador generativo pré-treinado (GPT), um tipo de modelo de linguagem generativo de grande escala pré-treinado em um corpus de texto enorme e diverso, seguido de ajuste fino discriminativo para tarefas específicas. Anteriormente, os melhores modelos de NLP neural frequentemente usavam aprendizado supervisionado a partir de grandes quantidades de dados rotulados manualmente, o que era caro e demorado. O primeiro modelo GPT foi seguido pelo GPT-2 em fevereiro de 2019, uma ampliação direta com 1,5 bilhões de parámetros treinado em 8 milhões de páginas web. Em fevereiro de 2020, Microsoft introdujo Turing Natural Language Generation (T-NLG), alegado como o maior modelo de linguagem com 17 bilhões de parámetros.
Treinamento e capacidades
Em 28 de maio de 2020, um preprint no arXiv por 31 engenheiros e pesquisadores da OpenAI descreveu o GPT-3, um modelo de linguagem de terceira geração de última geração. A equipe aumentou a capacidade em mais de duas ordens de magnitude em relação ao GPT-2, tornando o GPT-3 o maior modelo de linguagem não esparso da época. Sua maior precisão é atribuída ao aumento de capacidade e parámetros, sendo dez vezes maior que o Turing NLG da Microsoft. Lambdalabs estimou um custo hipotético de cerca de 4,6 milhões de dólares e 355 anos para treinar GPT-3 em uma única GPU em 2020, com menor tempo real de treinamento usando GPUs paralelas.
Sessenta por cento do conjunto de dados de pré-treinamento ponderado veio de uma versão filtrada de Common Crawl consistendo em 410 bilhões de tokens codificados por pares de bytes. A deduplicação difusa usou MinHashLSH do Apache Spark. Outras fontes incluían 19 bilhões de tokens de WebText2 (22% do total ponderado), 12 bilhões de tokens de Books1 (8%), 55 bilhões de tokens de Books2 (8%) e 3 bilhões de tokens da Wikipedia (3%). GPT-3 foi treinado em centenas de bilhões de palavras e também podia codificar em CSS, JSX e Python.
Como os dados de treinamento eram abarcantes, GPT-3 não exigía treinamento adicional para tarefas de linguagem distintas. Os dados de treinamento contenían ocasionalmente linguagem tóxica, e GPT-3 ocasionalmente generaba linguagem tóxica ao imitarla. Um estudo da Universidade de Washington descobrió que GPT-3 producía linguagem tóxica em um nível comparável ao GPT-2 e CTRL. OpenAI implementó estratégias para limitar a saída tóxica, resultando em menos linguagem tóxica que GPT-1, embora com más generaciones e maior toxicidade que CTRL Wiki, um modelo treinado inteiramente em dados da Wikipedia.
Acesso público e evolução
Em 11 de junho de 2020, OpenAI anunció que os usuários podían solicitar acesso à sua API GPT-3, um conjunto de herramientas de aprendizado automático, para explorar as fortalezas e limites da tecnologia. A API tinha uma interface general de texto-entrada, texto-saída que podía completar quase qualquer tarefa de língua inglesa. Um usuário inicial descrevió GPT-3 como assustadoramente bom em escrever texto coerente com prompts simples. Em um experimento inicial, 80 sujetos estadounidenses juzgaron artículos curtos como escritos por humanos ou generados por GPT-3, identificando corretamente apenas 52% das vezes, ligeramente mejor que adivinar al azar.
Em 18 de novembro de 2021, OpenAI anunció que suficientes salvaguardas habían sido implementadas para hacer el acceso a la API sin restricciones, proporcionando a los desarrolladores una herramienta de moderación de contenido. Em 27 de janeiro de 2022, OpenAI anunció que sus modelos GPT-3 más nuevos, colectivamente referidos como InstructGPT, se convirtieron en el estándar en la API, produciendo contenido mejor alineado con las intenciones del usuario, siguiendo mejor las instrucciones, generando menos hechos inventados y produciendo contenido algo menos tóxico.
Impacto e preocupações
Como GPT-3 podía generar artículos de noticias que los evaluadores humanos tenían dificultad en distinguir de los escritos por humanos, tenía potencial para avanzar tanto aplicaciones beneficiosas como perjudiciales de los modelos de lenguaje. En el artículo del 28 de mayo de 2020, los investigadores describieron efectos potencialmente perjudiciales incluyendo desinformación, spam, phishing, abuso de procesos legales y gubernamentales, y actividades fraudulentas. Las amplias capacidades del modelo impulsaron discusiones sobre las implicaciones sociales de la IA generativa y la necesidad de un despliegue responsable.
Legado
GPT-3 marcó un hito significativo en el desarrollo de la inteligencia artificial, demostrando que escalar modelos transformadores podía producir mejoras dramáticas en la comprensión y generación de lenguaje. Su arquitectura y enfoque de entrenamiento influyeron en modelos posteriores, incluyendo sucesores dentro de OpenAI y esfuerzos de otras organizaciones como Anthropic y Google DeepMind. El licenciamiento exclusivo a Microsoft destacó el valor comercial de los modelos de lenguaje de gran escala y moldeó el panorama competitivo de los servicios de computación en la nube, con Azure integrando GPT-3 en sus ofertas. GPT-3 también catalizó la investigación en alineación, seguridad y evaluación de modelos grandes, contribuyendo al campo más amplio de la investigación en redes neuronales.