Un modelo de lenguaje grande (LLM) es una red neuronal, típicamente construida sobre la arquitectura transformador, entrenada con grandes cantidades de texto para predecir la siguiente unidad de texto, o token, en una secuencia. A pesar de este objetivo de entrenamiento limitado, los LLM entrenados a escala suficiente exhiben amplias habilidades en comprensión del lenguaje, generación, traducción, resumen y razonamiento, y forman la base técnica de asistentes como ChatGPT, Claude (AI model family) y Gemini.
Historia
Los modelos de lenguaje basados en transformadores surgieron poco después de la introducción de la arquitectura en 2017. BERT (2018) demostró el valor del preentrenamiento a gran escala para tareas de comprensión del lenguaje, mientras que la serie GPT de OpenAI persiguió un entrenamiento generativo y autorregresivo a escala creciente, culminando en GPT-3 (2020), cuyos 175 mil millones de parámetros y su sólido rendimiento en aprendizaje con pocos ejemplos atrajeron una amplia atención. GPT-4 (2023) extendió el paradigma con entrada multimodal y una capacidad mucho mayor, y el lanzamiento en noviembre de 2022 de ChatGPT, construido sobre el modelo GPT-3.5, llevó los LLM conversacionales al uso generalizado, impulsando la entrada rápida de competidores, incluida la familia Gemini de Google y la serie Llama de pesos abiertos de Meta.
Cómo funcionan
Los LLM se entrenan en una fase de preentrenamiento con corpus de texto vastos y en gran parte sin curar, utilizando un objetivo autosupervisado, aprendiendo a predecir el siguiente token dado el contexto previo. Esto produce un modelo autorregresivo capaz de generar texto fluido un token a la vez. Los modelos "base" preentrenados se adaptan típicamente mediante ajuste fino y aprendizaje por refuerzo a partir de retroalimentación humana para seguir instrucciones y conversar de manera segura, un proceso central en modelos como ChatGPT y Claude. La cantidad de texto que un modelo puede procesar en una interacción está limitada por su ventana de contexto, que ha crecido desde aproximadamente unos pocos miles de tokens en los primeros modelos hasta más de un millón en algunos sistemas de la era de 2025.
Escala y capacidad
Las relaciones empíricas conocidas como leyes de escala describen cómo la pérdida de un modelo mejora de manera predecible a medida que aumentan juntos su número de parámetros, datos de entrenamiento y cómputo. Algunas capacidades, como la aritmética de múltiples pasos o el seguimiento de instrucciones complejas, parecen emerger de manera relativamente abrupta más allá de ciertos umbrales de escala, un fenómeno llamado habilidades emergentes, aunque los investigadores debaten cuánto de esto es una propiedad real de los modelos frente a un artefacto de cómo se miden las capacidades.
Limitaciones
Los LLM son propensos a la alucinación, produciendo declaraciones fluidas pero incorrectas desde el punto de vista fáctico sin ninguna señal para el usuario de que la salida no es confiable. Debido a que generan texto basándose en patrones estadísticos aprendidos en lugar de conocimiento verificado, también pueden reproducir sesgos presentes en los datos de entrenamiento y permanecen vulnerables a técnicas de indicaciones adversarias como los jailbreaks. Las mitigaciones incluyen fundamentar las salidas en documentos externos recuperados, una técnica conocida como generación aumentada por recuperación, y cada vez más, "modelos de razonamiento" que utilizan cómputo adicional en tiempo de prueba para verificar su propio trabajo antes de responder.