El preentrenamiento es la primera fase y, típicamente, la más costosa computacionalmente en el entrenamiento de un modelo de IA moderno, durante la cual el modelo aprende patrones estadísticos generales a partir de un corpus extenso y diverso, utilizando un objetivo de entrenamiento genérico, antes de cualquier adaptación a una tarea específica posterior. Para los modelos de lenguaje grandes, el preentrenamiento casi siempre implica aprendizaje autosupervisado: se proporciona al modelo una cantidad masiva de texto y se le entrena para predecir una palabra o token dado su contexto circundante, siendo la predicción más común la del siguiente token en una secuencia. Este objetivo no requiere etiquetas proporcionadas por humanos, ya que la "respuesta correcta" es simplemente la siguiente palabra en el texto existente.
Por qué funciona el preentrenamiento
La idea clave detrás del preentrenamiento es que predecir con precisión el siguiente token a lo largo de un corpus enorme y variado obliga al modelo a aprender implícitamente gramática, hechos, patrones de razonamiento e incluso cierto conocimiento básico del mundo, porque todos estos elementos son útiles para reducir el error de predicción. Un modelo entrenado de esta manera se denomina modelo base o fundacional y, antes de cualquier adaptación adicional, se comporta en gran medida como un motor de texto altamente capaz, en lugar de un asistente que sigue instrucciones. La terminología de modelo fundacional, acuñada por investigadores de Stanford en 2021, refleja el hecho de que un único modelo preentrenado puede servir como punto de partida para muchas aplicaciones posteriores diferentes mediante ajuste fino o aprendizaje en contexto.
Escala y coste
El preentrenamiento está dominado por leyes de escalado, relaciones empíricas que muestran que la pérdida del modelo disminuye de forma predecible a medida que aumentan conjuntamente la cantidad de cómputo de entrenamiento, los datos y los parámetros. Este marco fue establecido por investigadores de OpenAI en 2020 y refinado por el artículo de Chinchilla de DeepMind, que argumentaba que muchos modelos anteriores estaban subentrenados en relación con su tamaño y que los datos y los parámetros deberían escalarse de manera conjunta. Las ejecuciones de preentrenamiento para los modelos frontera más grandes consumen del orden de miles de GPUs o TPUs durante semanas o meses, con costes que se reportan en decenas o cientos de millones de dólares, y requieren corpus de entrenamiento construidos a partir de fuentes como Common Crawl y conjuntos de datos con licencia o propietarios.
Del preentrenamiento al asistente útil
Un modelo base recién preentrenado aún no es adecuado como asistente conversacional: continuará un prompt en el estilo que le resulte estadísticamente más probable, en lugar de responder a una pregunta directamente o rechazar una solicitud insegura. Convertir un modelo base en un producto como ChatGPT o Claude requiere etapas adicionales de post-entrenamiento, que típicamente incluyen un ajuste fino supervisado con pares de instrucciones y respuestas seleccionadas, seguido de un paso de alineación con preferencias humanas, como RLHF o optimización directa de preferencias. Sin embargo, el preentrenamiento sigue proporcionando la gran mayoría del conocimiento bruto y la capacidad del modelo; el post-entrenamiento principalmente moldea cómo se expresa y controla esa capacidad.
Tendencias y preguntas abiertas
Dado que el preentrenamiento depende de cantidades cada vez mayores de texto, los investigadores han planteado preocupaciones sobre un inminente "muro de datos", el punto en el que el suministro de texto generado por humanos de alta calidad se agota en relación con lo que exigen las leyes de escalado. Esto ha impulsado un creciente interés en datos sintéticos generados por los propios modelos y en el preentrenamiento multimodal que incorpora imágenes, audio y vídeo junto con el texto. Los objetivos de preentrenamiento también se han diversificado más allá de la simple predicción del siguiente token, con algunos enfoques que incorporan la eliminación de ruido, la predicción de tokens enmascarados como se usa en BERT, u objetivos de contraste multimodal similares a CLIP. A pesar de estas variaciones, la predicción del siguiente token sobre texto a escala web sigue siendo la receta de preentrenamiento dominante detrás de la mayoría de los modelos de lenguaje grandes desplegados a mediados de la década de 2020.