Generative Pre-trained Transformer 2 (GPT-2) es un modelo de lenguaje de gran escala desarrollado por OpenAI y el segundo de su serie fundacional de modelos GPT. Fue preentrenado en un conjunto de datos de 8 millones de páginas web y fue lanzado parcialmente en febrero de 2019, seguido del lanzamiento completo del modelo de 1.500 millones de parámetros el 5 de noviembre de 2019. GPT-2 fue creado como una ampliación directa de su predecesor, GPT-1, con un aumento de diez veces tanto en el número de parámetros como en el tamaño del conjunto de datos de entrenamiento. Es un aprendiz de propósito general cuya capacidad para realizar diversas tareas era una consecuencia de su capacidad general para predecir con precisión el siguiente elemento de una secuencia, lo que le permitía traducir textos, responder preguntas, resumir pasajes y generar resultados de texto a veces indistinguibles de la escritura humana, aunque podía volverse repetitivo o sin sentido en pasajes largos.
GPT-2, al igual que su predecesor y sucesores, utiliza una arquitectura de transformador generativo preentrenado, implementando una red neuronal profunda que se basa en mecanismos de atención en lugar de las arquitecturas más antiguas basadas en recurrencia y convolución. Esto permite que el modelo se centre selectivamente en segmentos de entrada relevantes y aumenta en gran medida la paralelización, superando los puntos de referencia anteriores para modelos basados en RNN/CNN/LSTM. Fue superado por GPT-3 y GPT-4, que ya no son de código abierto.
Entrenamiento
Dado que la arquitectura transformador permitía una paralelización masiva, los modelos GPT pudieron entrenarse en corpus más grandes que los modelos anteriores de procesamiento del lenguaje natural. Mientras que GPT-1 demostró que el enfoque era viable, GPT-2 exploró las propiedades emergentes de las redes entrenadas en corpus extremadamente grandes. CommonCrawl, un gran corpus rastreado por la web, fue considerado pero rechazado debido a las grandes cantidades de contenido ininteligible. En su lugar, OpenAI desarrolló un nuevo corpus llamado WebText, generado al extraer solo las páginas enlazadas por publicaciones de Reddit que habían recibido al menos 3 puntos de karma antes de diciembre de 2017. El corpus se limpió analizando HTML en texto plano, eliminando páginas duplicadas y eliminando las páginas de Wikipedia para evitar el sobreajuste.
La documentación sobre el costo del entrenamiento es limitada. Según una declaración de Andrej Karpathy, GPT-2 fue entrenado en 32 chips TPU v3 durante 168 horas (7 días) a aproximadamente $8 por TPU v3 por hora, totalizando alrededor de $43,000 en costo de cómputo. Otras fuentes citan un costo de entrenamiento de aproximadamente $256 por hora. Modelos comparables como BERT y XLNet consumieron $6,912 y $245,000 de recursos, respectivamente.
Lanzamiento
GPT-2 fue anunciado por primera vez el 14 de febrero de 2019. Un artículo de febrero de 2019 en The Verge de James Vincent señaló que, aunque la escritura que produce suele ser fácilmente identificable como no humana, seguía siendo uno de los ejemplos más emocionantes de programas de generación de lenguaje. The Guardian describió su resultado como prosa periodística plausible, y Kelsey Piper de Vox dijo que era uno de los sistemas de IA más geniales que había visto. The Verge destacó su flexibilidad para traducir textos, resumir artículos y responder preguntas de trivia. La serie GPT-2 contenía cuatro modelos, reportados en el artículo, que no se lanzaron todos a la vez sino por etapas.
Restricciones y lanzamiento parcial
A diferencia de los modelos anteriores de OpenAI, OpenAI inicialmente se negó a hacer público el código fuente de GPT-2, citando el riesgo de uso malicioso. Se permitió acceso limitado a medios de prensa seleccionados. Una justificación era que el texto generado podría ser utilizado por spammers para evadir filtros; OpenAI demostró una versión ajustada para generar infinitas reseñas de productos positivas o negativas. Otra justificación era el potencial de generar texto obsceno o racista. Investigadores como Jeremy Howard advirtieron de la tecnología llenando las redes sociales con prosa de sonido razonable, y el Instituto Allen para la Inteligencia Artificial anunció una herramienta para detectar noticias falsas neuronales.
La opinión estaba dividida. Un artículo de febrero de 2019 en The Verge argumentó que la amenaza era exagerada. Anima Anandkumar, profesora de Caltech y directora de investigación de aprendizaje automático en Nvidia, dijo que no había evidencia de que GPT-2 representara las amenazas descritas y caracterizó la negativa como lo opuesto a abierto. The Gradient publicó una carta abierta solicitando el lanzamiento público, comparando la amenaza con la de la imprenta y citando Photoshop como un ejemplo de una tecnología que no había destruido la sociedad a pesar de su potencial para el caos.
Lanzamiento de 774M
Si bien OpenAI no lanzó el modelo completamente entrenado ni los corpus, las descripciones de los métodos y la disponibilidad gratuita de la tecnología subyacente permitieron la replicación por otros. Una replicación, OpenGPT-2, fue lanzada en agosto de 2019 con una versión con licencia libre de WebText llamada OpenWebText, con costos de cómputo en la nube de alrededor de $50,000. El 20 de agosto de 2019, OpenAI lanzó una versión parcial de GPT-2 con 774 millones de parámetros, aproximadamente la mitad del tamaño del modelo completo, seguida del lanzamiento completo de 1.500 millones de parámetros el 5 de noviembre de 2019.
Impacto y legado
El lanzamiento por etapas de GPT-2 provocó debates sobre la seguridad de la IA y la apertura en la comunidad de inteligencia artificial. Demostró que los modelos de aprendizaje profundo a gran escala podían realizar múltiples tareas sin entrenamiento explícito, influyendo en la investigación posterior en IA generativa. La arquitectura y el enfoque de entrenamiento del modelo se convirtieron en una base para desarrollos posteriores, incluidos GPT-3 y más allá, y su estrategia de lanzamiento sentó un precedente para cómo OpenAI y otras organizaciones, como Anthropic y Google DeepMind, manejan el despliegue de modelos de lenguaje potentes. GPT-2 también destacó el potencial de uso indebido, lo que llevó al desarrollo de herramientas de detección y discusiones sobre la publicación responsable de IA.
Detalles técnicos
El modelo GPT-2 utiliza una arquitectura de transformador solo-decodificador con atención de múltiples cabezas y codificación posicional. Fue entrenado utilizando el optimizador Adam con un programa de tasa de aprendizaje y recorte de gradiente. Los tamaños del modelo variaron de 117 millones a 1.500 millones de parámetros, con la versión más grande usando 48 capas y incrustaciones de 1600 dimensiones. Durante la inferencia, GPT-2 emplea muestreo top-k y escalado de temperatura para generar texto diverso. Sus datos de entrenamiento, WebText, fueron diseñados para evitar el ruido del raspado web indiscriminado, centrándose en enlaces de alta calidad y curados por humanos de Reddit.
Recepción y crítica
La recepción inicial fue mixta, con elogios por sus logros técnicos y críticas por su lanzamiento restringido. Algunos investigadores argumentaron que las preocupaciones de seguridad eran exageradas, mientras que otros apoyaron el enfoque cauteloso. La capacidad del modelo para generar texto coherente a partir de indicaciones mínimas se consideró un paso significativo en aprendizaje automático, pero también se notaron sus limitaciones, como la repetición en resultados largos. El lanzamiento de GPT-2 influyó en los esfuerzos posteriores de código abierto y las discusiones de políticas en torno a la gobernanza de la IA, contribuyendo al campo más amplio de la ética de la inteligencia artificial.