El artículo del GPT-1, titulado "Improving Language Understanding by Generative Pre-Training", fue publicado por investigadores de OpenAI el 11 de junio de 2018. Introdujo el primer transformador generativo preentrenado, un modelo que combinaba la arquitectura Transformer (architecture) con un enfoque de entrenamiento en dos etapas: preentrenamiento no supervisado en un gran corpus de texto, seguido de un ajuste fino supervisado en tareas específicas. Este trabajo demostró que un solo modelo podía lograr un rendimiento sólido en múltiples puntos de referencia de procesamiento del lenguaje natural, desafiando la dependencia predominante de arquitecturas específicas para cada tarea y de datos etiquetados.
Antecedentes
Durante la década de 2010, los avances en aprendizaje automático y la disponibilidad de conjuntos de datos a gran escala permitieron un auge de la inteligencia artificial. El paradigma dominante en el procesamiento del lenguaje natural (PLN) implicaba entrenar modelos con grandes cantidades de datos etiquetados manualmente para cada tarea específica, lo cual era costoso y requería mucho tiempo. En 2017, investigadores de Google presentaron la arquitectura del transformador en el artículo "Attention Is All You Need", que se basaba en un mecanismo de autoatención para procesar secuencias en paralelo, superando las limitaciones de las redes neuronales recurrentes (RNN), que procesaban los tokens de forma secuencial. Esta arquitectura se convirtió en la base para trabajos posteriores en aprendizaje profundo y PLN.
Desarrollo
El modelo GPT-1 era un transformador solo con decodificador, con 117 millones de parámetros, entrenado en BookCorpus, un conjunto de datos que contiene más de 7,000 libros inéditos de diversos géneros. El objetivo del preentrenamiento era el modelado de lenguaje estándar: predecir el siguiente token en una secuencia. Después de esta fase no supervisada, el modelo se ajustaba en tareas individuales mediante aprendizaje supervisado, con transformaciones de entrada específicas para cada tarea con el fin de adaptar el modelo a diferentes formatos. El artículo mostró que este enfoque lograba resultados de última generación en nueve de las doce tareas estudiadas, incluido el razonamiento de sentido común, la respuesta a preguntas y la implicación textual, superando a menudo a los modelos entrenados desde cero con datos etiquetados.
Impacto
El éxito del GPT-1 estableció el paradigma de IA generativa de preentrenamiento y ajuste fino, que se convirtió en el modelo a seguir para los sistemas posteriores. Condujo directamente al desarrollo de GPT-2 en febrero de 2019, que amplió el modelo a 1.5 mil millones de parámetros y demostró la capacidad de generar texto coherente. Le siguió GPT-3 en mayo de 2020, con 175 mil millones de parámetros, que introdujo el aprendizaje con pocos ejemplos, lo que permitía al modelo realizar tareas con solo unos pocos ejemplos en el mensaje. La línea continuó con InstructGPT, que utilizó el aprendizaje por refuerzo con retroalimentación humana (RLHF) para alinear las salidas con las intenciones del usuario, y finalmente ChatGPT, lanzado en noviembre de 2022, que llevó estos modelos a un público amplio.
Legado
El artículo del GPT-1 es ampliamente reconocido como una contribución fundamental al campo de los modelos de lenguaje de gran tamaño. Demostró que el preentrenamiento generativo en textos diversos podía capturar conocimiento lingüístico general y transferirse de manera efectiva a tareas posteriores. Este enfoque influyó no solo en los modelos posteriores de OpenAI, sino también en el desarrollo de sistemas competidores como Gemini de Google y Llama de Meta, así como en esfuerzos de código abierto como DeepSeek. El artículo también destacó el potencial de los transformadores para tareas generativas, allanando el camino para modelos multimodales que procesan y generan texto, imágenes y audio, y para mejoras de eficiencia como los mecanismos de atención dispersa que reducen los costos computacionales para secuencias más largas.