Un modelo fundacional es un modelo de aprendizaje automático entrenado con datos amplios, a menudo a escala de la web, que puede adaptarse a una amplia gama de tareas posteriores en lugar de estar diseñado para un solo propósito limitado. El término fue acuñado en un informe de 2021 del Centro de Investigación de Modelos Fundacionales (CRFM) de Stanford, dirigido por investigadores como Percy Liang, quienes argumentaron que modelos como GPT-3 y BERT representaban un nuevo paradigma: un único modelo, una vez preentrenado, sirve como base para muchas aplicaciones mediante ajuste fino, aprendizaje en contexto o indicación, en lugar de que cada tarea requiriera un modelo entrenado desde cero.
Orígenes y definición
El informe del CRFM distinguía los modelos fundacionales por su combinación de escala, en parámetros, datos y cómputo, objetivos de entrenamiento amplios como el auto-supervisado preentrenamiento en datos no etiquetados y generalidad, es decir, que las representaciones aprendidas de un solo modelo se transfieren a muchas tareas posteriores con una adaptación relativamente ligera. Este marco se basó en y amplió la idea anterior de aprendizaje de transferencia, donde un modelo preentrenado en una tarea o conjunto de datos se reutiliza, por lo general tras el ajuste fino, en una tarea relacionada.
Ejemplos
Los modelos fundacionales abarcan modalidades: modelos centrados en el texto como la serie GPT, Claude, Gemini y Llama; sistemas de visión-lenguaje construidos sobre el preentrenamiento estilo CLIP; modelos de generación de imágenes como Stable Diffusion; y modelos de voz como Whisper. La mayoría de los modelos de lenguaje grandes son modelos fundacionales en este sentido, aunque el término precede y es más amplio que los LLM, ya que también cubre sistemas no textuales y multimodales.
Por qué se usa el término
La etiqueta surgió en parte para captar un cambio en cómo se construyen y despliegan los sistemas de IA: en lugar de que un grupo de investigación entrenara un modelo a medida para cada tarea, un modelo fundacional de pesos abiertos o propietario se publica una vez y luego es adaptado por muchos usuarios posteriores, reduciendo drásticamente el costo de crear nuevas aplicaciones de IA. Esto dio lugar a un ecosistema, ejemplificado por plataformas como Hugging Face, centrado en compartir, ajustar y desplegar modelos fundacionales en lugar de entrenar desde cero. El término también resultó útil en discusiones de políticas, ya que regulaciones como el Acto de IA de la UE establecieron obligaciones específicas para los proveedores de modelos de propósito general o fundacionales, distintas de las de los desarrolladores que solo construyen aplicaciones sobre ellos.
Críticas y advertencias
El informe del CRFM reconoció riesgos: los modelos fundacionales concentran la capacidad y la influencia en manos de las pocas organizaciones capaces de entrenarlos, propagan sesgos presentes en sus amplios datos de entrenamiento a través de cada aplicación posterior construida sobre ellos, y pueden comportarse de manera impredecible fuera de la distribución de sus datos de entrenamiento. Los críticos, incluyendo algunos que acogieron con satisfacción el marco, señalaron que el término 'fundacional' implica una estabilidad y una fiabilidad que los primeros modelos grandes no siempre poseían, y que puede oscurecer diferencias relevantes entre modelos, como si son abiertos o cerrados o se entrenaron con diferentes técnicas de alineación. A pesar de ello, modelo fundacional se convirtió en vocabulario estándar en tanto en investigaciones como en regulaciones pocos años después de su introducción.
Relación con otros términos
El modelo fundacional se superpone en gran medida con, pero no es idéntico a, modelo de frontera, que designa específicamente los modelos más capaces en un momento dado, y con LLM, que es específico para el texto. Un modelo fundacional no necesita estar en la frontera de la capacidad, y no todos los modelos fundacionales son modelos de lenguaje.