Generative Pre-trained Transformer 3 (GPT-3) es un modelo de lenguaje de gran escala lanzado por OpenAI en 2020 como parte de la serie GPT de la empresa. Es un modelo transformador de solo decodificador de aprendizaje profundo, que supera las arquitecturas basadas en recurrencia y convolución con un mecanismo de atención que permite al modelo centrarse selectivamente en el texto de entrada relevante. GPT-3 tiene 175 mil millones de parámetros, cada uno con precisión de 16 bits, lo que requiere 350 GB de almacenamiento. Tiene una ventana de contexto de 2,048 tokens y demostró fuertes capacidades de aprendizaje de cero disparos y de pocos disparos en muchas tareas.
Antecedentes
Según The Economist, los algoritmos mejorados, las computadoras más potentes y el aumento del material digitalizado impulsaron una revolución en el aprendizaje automático. Las nuevas técnicas de la década de 2010 condujeron a rápidas mejoras en las tareas de manipulación del lenguaje. Los modelos de software se entrenan con miles o millones de ejemplos en una estructura vagamente basada en la arquitectura neuronal del cerebro. Una arquitectura clave es el transformador, introducido en 2017, que se convirtió en central para los sistemas de procesamiento del lenguaje natural.
El 11 de junio de 2018, los investigadores de OpenAI publicaron un artículo que presentaba el primer transformador generativo preentrenado (GPT), un tipo de modelo de lenguaje generativo de gran escala preentrenado en un corpus de texto diverso, seguido de un ajuste fino discriminativo. GPT-1 fue seguido por GPT-2 en febrero de 2019, que escaló los parámetros y el tamaño del conjunto de datos por un factor de 10, alcanzando 1.5 mil millones de parámetros entrenados en 8 millones de páginas web. En febrero de 2020, Microsoft presentó Turing Natural Language Generation (T-NLG) con 17 mil millones de parámetros, entonces el modelo de lenguaje publicado más grande.
Entrenamiento y capacidades
El 28 de mayo de 2020, un preprint en arXiv de 31 ingenieros e investigadores de OpenAI describió GPT-3, un modelo de lenguaje de tercera generación de última generación. El equipo aumentó la capacidad en más de dos órdenes de magnitud respecto a GPT-2, convirtiendo a GPT-3 en el modelo de lenguaje no disperso más grande en ese momento. Su precisión se atribuye al aumento de capacidad y parámetros, siendo diez veces más grande que el Turing NLG de Microsoft. Lambdalabs estimó un costo hipotético de alrededor de 4.6 millones de dólares y 355 años para entrenarlo en una sola GPU en 2020, con un tiempo real menor usando GPUs en paralelo.
El sesenta por ciento del conjunto de datos de preentrenamiento ponderado provino de una versión filtrada de Common Crawl con 410 mil millones de tokens codificados por pares de bytes, utilizando deduplicación difusa con MinHashLSH de Apache Spark. Otras fuentes incluyeron WebText2 (19 mil millones de tokens, 22%), Books1 (12 mil millones de tokens, 8%), Books2 (55 mil millones de tokens, 8%) y Wikipedia (3 mil millones de tokens, 3%). GPT-3 se entrenó en cientos de miles de millones de palabras y podía codificar en CSS, JSX y Python.
Dado que los datos de entrenamiento eran exhaustivos, GPT-3 no requiere entrenamiento adicional para tareas distintas. Sin embargo, ocasionalmente genera lenguaje tóxico que imita sus datos de entrenamiento. Un estudio de la Universidad de Washington encontró que GPT-3 producía lenguaje tóxico comparable a GPT-2 y CTRL. OpenAI implementó estrategias para limitar la toxicidad, resultando en una salida menos tóxica que GPT-1 pero más que CTRL Wiki.
API y acceso
El 11 de junio de 2020, OpenAI anunció que los usuarios podían solicitar acceso a su API de GPT-3, un conjunto de herramientas de aprendizaje automático con una interfaz general de texto de entrada y texto de salida. Un usuario temprano lo describió como inquietantemente bueno para escribir texto coherente con simples indicaciones. En un experimento, 80 sujetos estadounidenses juzgaron artículos cortos como escritos por humanos o por GPT-3, acertando solo el 52% de las veces, ligeramente mejor que el azar.
El 22 de septiembre de 2020, Microsoft anunció que había licenciado GPT-3 exclusivamente. Otros aún podían recibir salida de la API pública, pero solo Microsoft tenía acceso al modelo subyacente. El 18 de noviembre de 2021, OpenAI anunció acceso sin restricciones a la API con una herramienta de moderación de contenido. El 27 de enero de 2022, OpenAI hizo de InstructGPT el modelo predeterminado, que seguía mejor las instrucciones y generaba menos hechos inventados.
Impacto y preocupaciones
GPT-3 puede generar artículos de noticias que los evaluadores humanos tienen dificultades para distinguir de los escritos por humanos, con potencial para aplicaciones tanto beneficiosas como dañinas. El artículo de mayo de 2020 detalló daños potenciales, incluidos desinformación, spam, phishing y abuso de procesos legales y gubernamentales. El lanzamiento del modelo impulsó un mayor desarrollo en IA generativa e influyó en modelos posteriores de Anthropic y Google DeepMind. Su arquitectura y enfoque de entrenamiento se volvieron fundamentales para modelos de lenguaje de gran escala posteriores, y su modelo API influyó en servicios comerciales de IA en Azure y Amazon Web Services.
Legado
GPT-3 marcó un punto de inflexión en la conciencia pública sobre los modelos de lenguaje de gran escala, demostrando que escalar modelos transformadores podía producir capacidades emergentes. Su escala de 175 mil millones de parámetros estableció un punto de referencia, aunque modelos posteriores lo superarían. La licencia exclusiva a Microsoft destacó el valor comercial de tales modelos. Las capacidades de aprendizaje de pocos disparos de GPT-3 redujeron la necesidad de ajuste fino específico de tareas, influyendo en la investigación en RLHF y el seguimiento de instrucciones. Su lanzamiento también generó discusiones sobre la seguridad de la IA, el sesgo y el costo ambiental de entrenar modelos grandes.