Un modelo autorregresivo es un modelo generativo que produce una secuencia de un elemento a la vez, donde cada nuevo elemento está condicionado por todo lo generado anteriormente. En el procesamiento del lenguaje natural, esto significa predecir el siguiente token dada la secuencia de tokens ya producidos, y luego retroalimentar ese token para predecir el siguiente. El término se origina en la estadística, donde los modelos autorregresivos predicen un valor en una serie temporal a partir de sus propios valores pasados; los modernos modelos de lenguaje grandes aplican la misma factorización de izquierda a derecha al texto.
La generación autorregresiva es la estrategia de decodificación predeterminada detrás de la mayoría de los asistentes de chat modernos construidos sobre modelos de lenguaje grandes, desde la serie GPT de OpenAI hasta Claude de Anthropic y Llama de Meta. No es la única forma de generar secuencias, pero a partir de 2025 sigue siendo el paradigma dominante para el texto, y sus variantes se utilizan para audio, código e incluso algunos modelos de imágenes.
Historia
El modelo AR estadístico se remonta a los trabajos sobre series temporales de la década de 1920, mucho antes de que existiera la computación. En el modelado del lenguaje, los modelos de n-gramas de las décadas de 1980 y 1990 eran autorregresivos en espíritu, prediciendo una palabra a partir de una ventana fija de palabras precedentes mediante probabilidades contadas. Los modelos de lenguaje neuronales autorregresivos surgieron con las redes neuronales recurrentes y más tarde con las redes LSTM, que procesaban una secuencia paso a paso y predecían la siguiente palabra en cada paso. El paradigma se trasladó en gran medida sin cambios a la arquitectura transformer: GPT-2 y sus sucesores son transformadores solo de decodificador entrenados para predecir el siguiente token, un objetivo a veces llamado modelado de lenguaje causal.
Cómo funciona
Durante el entrenamiento, a un modelo autorregresivo se le muestra un corpus de texto y, en cada posición, se le pide predecir el token siguiente dados todos los tokens anteriores, un enfoque conocido como aprendizaje autosupervisado porque las etiquetas provienen del propio texto en lugar de anotaciones humanas. La función de pérdida del modelo suele ser la entropía cruzada entre la distribución predicha del siguiente token y el token real. En el momento de la inferencia, estrategias de muestreo como la decodificación codiciosa, top-k o el muestreo de núcleo determinan cómo se elige el siguiente token a partir de la distribución de probabilidad predicha por el modelo, y el token elegido se añade al contexto antes de la siguiente predicción, un proceso que se repite hasta alcanzar un token de fin de secuencia o un límite de longitud.
Autorregresivo frente a otros enfoques
Los modelos autorregresivos contrastan con los enfoques no autorregresivos y basados en difusión. Los modelos de difusión, utilizados para la mayoría de la generación de imágenes y vídeo, producen una salida completa de una vez y la refinan iterativamente eliminando ruido, en lugar de generar elemento por elemento. Algunos sistemas de investigación han explorado la generación de texto no autorregresiva por velocidad, y a mediados de la década de 2020 algunos laboratorios experimentaron con modelos de texto basados en difusión, pero ninguno había desplazado la decodificación autorregresiva como enfoque principal para el lenguaje en 2025. Los modelos de espacio de estados, como Mamba, también son autorregresivos en el sentido de predecir secuencialmente, pero reemplazan el mecanismo de atención del transformer con una estructura computacional diferente.
Limitaciones
La generación autorregresiva es inherentemente secuencial: cada token depende del anterior, lo que limita el paralelismo en la inferencia en comparación con el entrenamiento, donde todas las posiciones pueden calcularse a la vez mediante el forzado de profesor. Este cuello de botella secuencial motivó técnicas como el decodificado especulativo, que utiliza un modelo borrador más pequeño para proponer múltiples tokens que el modelo más grande verifica en paralelo. Los modelos autorregresivos también pueden acumular pequeños errores: un token improbable o incorrecto al inicio de una generación se convierte en parte del contexto para cada token posterior, una dinámica relacionada con la alucinación y con la degradación de la calidad de salida en generaciones muy largas.
Impacto
El objetivo autorregresivo de predicción del siguiente token es central en la historia de la IA moderna: es simple, no requiere datos etiquetados y escala de manera predecible con los datos y el cómputo, una relación estudiada bajo las leyes de escalado. Su simplicidad es parte de por qué un único objetivo de entrenamiento pudo producir modelos capaces de traducción, codificación y razonamiento sin arquitecturas específicas de tarea, una generalidad formalizada más tarde en la idea del modelo fundacional.