La predicción del siguiente token es un objetivo de entrenamiento fundamental utilizado en los modelos de lenguaje autorregresivos, particularmente en los grandes modelos de lenguaje (LLM). En este paradigma, un modelo se entrena para estimar la probabilidad del siguiente token en una secuencia dados todos los tokens precedentes, aprendiendo efectivamente la distribución de probabilidad condicional P(token_n | token_1, ..., token_{n-1}). Este objetivo permite que el modelo genere texto muestreando o seleccionando iterativamente el siguiente token más probable y añadiéndolo a la secuencia de entrada.
Este enfoque es central para los grandes modelos de lenguaje modernos construidos sobre la arquitectura Transformer (architecture), que han superado a los modelos anteriores basados en redes neuronales recurrentes y a los modelos puramente estadísticos, como los modelos de lenguaje de n-gramas de palabras. Al entrenarse con conjuntos de datos masivos, a menudo extraídos de internet público, estos modelos aprenden a producir texto coherente y contextualmente relevante en una amplia gama de tareas, incluyendo la generación de lenguaje natural, la traducción automática y el respuesta a preguntas.
Desarrollo Histórico
Las raíces conceptuales de la predicción del siguiente token se remontan a la década de 1950, cuando Noam Chomsky desarrolló enfoques formales para describir el lenguaje mediante gramáticas formales. Sin embargo, estos primeros modelos estaban basados en reglas y no implicaban predicción probabilística. En la década de 1970, Frederick Jelinek y sus colegas de IBM Research introdujeron enfoques estadísticos para el modelado del lenguaje como parte del trabajo en reconocimiento de voz. Su grupo utilizó modelos probabilísticos de n-gramas de secuencias de palabras e introdujo la perplejidad como una medida informativo-teórica de la incertidumbre del modelo.
En 1980, se propuso el primer modelo de lenguaje estadístico significativo, y durante esa década IBM realizó experimentos 'estilo Shannon', donde sujetos humanos predecían o corregían texto para identificar posibles mejoras en el modelado del lenguaje. Estos métodos estadísticos dominaron hasta el auge de los enfoques neuronales en la década de 2000.
Fundamentos Estadísticos
Los modelos puramente estadísticos, particularmente aquellos basados en n-gramas de palabras, estiman la probabilidad de una palabra dados las n-1 palabras anteriores. Estos modelos dependen de contar ocurrencias en corpus de entrenamiento y sufren de la maldición de la dimensionalidad, ya que el número de secuencias posibles crece exponencialmente con el tamaño del vocabulario, lo que lleva a una escasez de datos.
Los modelos de lenguaje exponenciales, como los modelos de máxima entropía, abordan algunas limitaciones codificando relaciones entre palabras e historias de n-gramas mediante funciones de características. La probabilidad de una palabra dado su historial se calcula como P(w_m | w_1, ..., w_{m-1}) = 1/Z(w_1, ..., w_{m-1}) * exp(a^T f(w_1, ..., w_m)), donde Z es una función de partición, a es un vector de parámetros y f es una función de características. Estos modelos a menudo requieren regularización o una distribución previa sobre los parámetros. El modelo log-bilineal es otro ejemplo de un modelo de lenguaje exponencial.
Los modelos de skip-gram, introducidos más tarde, se centran en predecir palabras circundantes dado una palabra central, lo que difiere de la predicción estricta del siguiente token pero comparte la idea de aprender distribuciones de palabras a partir del contexto.
Modelos de Lenguaje Neuronales
Los modelos de lenguaje neuronales se volvieron cada vez más importantes en la década de 2000. Yoshua Bengio y coautores introdujeron un modelo de lenguaje neuronal probabilístico que aprendía representaciones distribuidas de palabras mientras estimaba la probabilidad de secuencias de palabras. Estas incrustaciones de espacio continuo ayudaron a aliviar la maldición de la dimensionalidad al representar palabras como combinaciones no lineales de pesos en una red neuronal, evitando el problema de escasez de datos inherente a los modelos de n-gramas.
Las redes neuronales recurrentes (RNN) extendieron este enfoque reteniendo información de palabras anteriores mientras se procesaba la secuencia. En 2010, Tomáš Mikolov y sus colegas demostraron que los modelos de lenguaje basados en redes neuronales recurrentes podían superar sustancialmente a los modelos convencionales de n-gramas. Los modelos basados en RNN procesan secuencias secuencialmente, manteniendo un estado oculto que captura el contexto, y predicen el siguiente token basándose en este estado y en la entrada actual.
La Revolución del Transformer
La introducción de la arquitectura Transformer (architecture) marcó un cambio significativo en la predicción del siguiente token. Los transformers, que dependen de mecanismos de autoatención, permiten que los modelos ponderen la importancia de todos los tokens anteriores en una secuencia simultáneamente, en lugar de procesarlos secuencialmente. Esta paralelización permitió el entrenamiento con conjuntos de datos mucho más grandes y condujo al desarrollo de grandes modelos de lenguaje.
A partir de 2026, los grandes modelos de lenguaje se basan predominantemente en transformers entrenados con conjuntos de datos más grandes, frecuentemente utilizando textos extraídos de internet público. Estos modelos han superado a los modelos basados en redes neuronales recurrentes, que a su vez habían superado a los modelos puramente estadísticos. Empresas como OpenAI, Anthropic y Google DeepMind han desarrollado LLM prominentes que utilizan la predicción del siguiente token como su objetivo de entrenamiento central.
Proceso de Entrenamiento y Generación
Durante el entrenamiento, un modelo se presenta con secuencias de tokens y aprende a predecir cada token dados los anteriores. La función de pérdida, típicamente la entropía cruzada, mide la diferencia entre las probabilidades predichas y los tokens siguientes reales. Mediante retropropagación y técnicas de optimización, el modelo ajusta sus parámetros para minimizar esta pérdida en todo el corpus de entrenamiento.
En el momento de la inferencia, la generación de texto procede de manera autorregresiva: el modelo recibe un prompt inicial, predice el siguiente token, lo añade al prompt y repite el proceso. Esto genera texto token por token, con cada nuevo token condicionado a todos los tokens generados previamente. La elección del token puede ser determinista (seleccionando la probabilidad más alta) o estocástica (muestreando de la distribución de probabilidad), con técnicas como el escalado de temperatura y el muestreo top-k que afectan la diversidad de la salida.
Aplicaciones e Impacto
La predicción del siguiente token permite una amplia variedad de tareas de lenguaje natural más allá de la generación de texto. Estas incluyen reconocimiento de voz, traducción automática, reconocimiento óptico de caracteres, reconocimiento de escritura a mano, inducción gramatical, recuperación de información y respuesta a desastres. La capacidad de predecir secuencias en lenguaje natural hace que los modelos de lenguaje sean útiles para la optimización de rutas y otras tareas basadas en secuencias.
Los grandes modelos de lenguaje entrenados con predicción del siguiente token han demostrado capacidades en tareas como resumir, generación de código y IA conversacional. Sin embargo, sigue sin estar claro si estos modelos son modelos cognitivos plausibles del procesamiento del lenguaje humano. Al menos para las redes neuronales recurrentes, la investigación ha mostrado que a veces aprenden patrones que los humanos no aprenden, pero fallan en aprender patrones que los humanos típicamente sí aprenden.
Evaluación y Puntos de Referencia
La evaluación de los modelos de lenguaje se realiza principalmente mediante la comparación con puntos de referencia de muestra creados por humanos, derivados de tareas típicas orientadas al lenguaje. Otras pruebas de calidad menos establecidas examinan el carácter intrínseco de un modelo o comparan dos modelos. Dado que los modelos de lenguaje están destinados a ser dinámicos y aprender de los datos, algunos modelos propuestos investigan las tasas de aprendizaje mediante la inspección de curvas de aprendizaje.
Se han desarrollado numerosos conjuntos de datos para evaluar sistemas de procesamiento del lenguaje. Estos incluyen Massive Multitask Language Understanding (MMLU), Corpus of Linguistic Acceptability, GLUE benchmark, Microsoft Research Paraphrase Corpus, Multi-Genre Natural Language Inference, Question Natural Language Inference, Quora Question Pairs, Recognizing Textual Entailment, Semantic Textual Similarity Benchmark, SQuAD question answering Test, Stanford Sentiment Treebank, Winograd NLI, BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender y CrowS-Pairs. Estos puntos de referencia evalúan varios aspectos de la comprensión y generación del lenguaje, proporcionando medidas estandarizadas para comparar el rendimiento de los modelos.
Direcciones Futuras
A medida que los grandes modelos de lenguaje continúan evolucionando, la predicción del siguiente token sigue siendo un objetivo fundamental, pero los investigadores están explorando variaciones y extensiones. Estas incluyen objetivos que incorporan aprendizaje por refuerzo a partir de retroalimentación humana, así como arquitecturas que mejoran la eficiencia y el manejo del contexto. El desarrollo continuo de hardware especializado, como los sistemas AWS Trainium y Cerebras, tiene como objetivo apoyar las demandas computacionales del entrenamiento y despliegue de estos modelos a escala.