GPT-2 (Generative Pretrained Transformer 2) es un modelo de lenguaje de gran tamaño desarrollado por OpenAI y anunciado por primera vez en febrero de 2019. Construido sobre la arquitectura Transformer, GPT-2 fue entrenado en WebText, un conjunto de datos de aproximadamente 8 millones de páginas web, utilizando un objetivo puramente autorregresivo de predicción del siguiente token, siguiendo directamente al modelo GPT original más pequeño lanzado en 2018.
Lanzamiento escalonado
GPT-2 se hizo ampliamente conocido no principalmente por su arquitectura, sino por cómo OpenAI lo lanzó. El modelo completo contenía 1.5 mil millones de parámetros, un tamaño inusualmente grande para un modelo de lenguaje público en ese momento, y generaba texto coherente de varios párrafos a partir de indicaciones cortas con una fluidez que sorprendió a muchos investigadores. Citando preocupaciones sobre usos maliciosos como la generación de noticias falsas, spam y suplantación de identidad a gran escala, OpenAI inicialmente se negó a lanzar el modelo completo de 1.5B parámetros, publicando solo versiones más pequeñas mientras estudiaba un posible uso indebido. Esta decisión, enmarcada públicamente como que el modelo era "demasiado peligroso para lanzarlo", atrajo críticas significativas de partes de la comunidad investigadora, que argumentaron que era demasiado cautelosa, una táctica de marketing, o establecía un precedente incómodo para retener resultados de investigación. OpenAI revirtió el rumbo de manera incremental, lanzando el modelo completo de 1.5B parámetros en noviembre de 2019 después de informar que su estudio de lanzamiento escalonado no encontró evidencia sólida de los usos indebidos que temía a esa escala.
Importancia
GPT-2 fue uno de los primeros modelos en demostrar un fuerte rendimiento en tareas de cero disparos, generando resúmenes, traducciones y respuestas a preguntas sin ajuste fino específico de la tarea, simplemente al ser incitado con ejemplos en lenguaje natural, una ilustración temprana de lo que más tarde se formalizaría como aprendizaje de pocos ejemplos y aprendizaje en contexto en su sucesor, GPT-3. Su escala, aproximadamente diez veces mayor que la del GPT original, también sirvió como un punto de datos temprano que respaldaba lo que los investigadores describirían más formalmente como leyes de escalado: que aumentar el tamaño del modelo y los datos mejoraba predeciblemente el rendimiento del modelado del lenguaje.
Legado
La estrategia de lanzamiento de GPT-2 se convirtió en un caso de estudio ampliamente citado en la gobernanza de la IA y el debate sobre seguridad de la IA, prefigurando argumentos posteriores más sostenidos sobre lanzamientos de modelos abiertos frente a cerrados que resurgieron con sistemas como Llama y otros modelos de pesos abiertos. Dentro de la propia línea de productos de OpenAI, la arquitectura y el enfoque de entrenamiento de GPT-2 formaron la base directa para GPT-3, lanzado al año siguiente con más de 100 veces el número de parámetros, y en última instancia para el producto ChatGPT que llevó el linaje GPT a la atención general en 2022. El investigador Alec Radford y sus colegas de OpenAI son acreditados como los autores principales de GPT-2.