El ajuste fino es la práctica de tomar un modelo que ya ha sido entrenado, generalmente en un conjunto de datos grande y de propósito general durante el pretraining, y continuar su entrenamiento en un conjunto de datos más pequeño y específico para que se adapte a una tarea, dominio o estilo particular. La técnica se basa en la premisa del transfer-learning: un modelo que ya ha aprendido una estructura estadística amplia, ya sean características visuales de imágenes o patrones lingüísticos de texto, necesita comparativamente pocos datos adicionales y cómputo para especializarse, en comparación con entrenar un modelo de calidad similar desde cero.
Historia
El ajuste fino se convirtió en una práctica estándar en la visión por computadora después del avance de ImageNet en 2012, cuando los investigadores descubrieron que las redes convolucionales entrenadas en ImageNet se transferían bien a tareas de clasificación de imágenes más pequeñas y no relacionadas con solo un ligero reentrenamiento de las capas finales. En el procesamiento del lenguaje natural, la técnica adquirió nueva importancia con BERT en 2018, cuyo paradigma de "preentrenar y luego ajustar", que adapta un único codificador preentrenado a muchas tareas posteriores como el análisis de sentimientos o la respuesta a preguntas, se convirtió en el flujo de trabajo dominante durante varios años. Con el auge de los grandes modelos de lenguaje, el ajuste fino pasó de adaptar modelos para tareas de clasificación estrechas al ajuste fino por instrucciones, donde un modelo base entrenado únicamente para predecir la siguiente palabra se ajusta con ejemplos seleccionados de instrucciones y respuestas deseadas para que se comporte como un asistente útil, un paso utilizado en el entrenamiento de sistemas como ChatGPT.
Métodos
El ajuste fino completo actualiza todos los parámetros de un modelo y, para los modelos más grandes, requiere un cómputo y memoria sustanciales, ya que implica almacenar gradientes y estados del optimizador para cada peso. Este costo impulsó el desarrollo de métodos de ajuste fino eficientes en parámetros que congelan la mayor parte del modelo original y entrenan solo un pequeño número de parámetros adicionales. El más adoptado de estos es LoRA, que inserta pequeñas matrices de bajo rango en las capas de un modelo y entrena solo esas, reduciendo drásticamente los requisitos de memoria mientras logra resultados cercanos al ajuste fino completo en muchas tareas. Otros enfoques incluyen capas adaptadoras, ajuste de indicaciones y ajuste de prefijos, cada uno intercambiando una cantidad diferente de flexibilidad por eficiencia.
El ajuste fino supervisado (SFT) entrena un modelo en pares de entrada-salida etiquetados y es el primer paso estándar para adaptar un LLM base a un asistente que sigue instrucciones. Esto a menudo se sigue de métodos basados en preferencias como RLHF o optimización directa de preferencias que refinan aún más el comportamiento del modelo utilizando juicios humanos sobre cuál de dos salidas es mejor, en lugar de una única etiqueta correcta.
Ajuste fino frente a otros enfoques
El ajuste fino se compara frecuentemente con la generación aumentada por recuperación como una forma de hacer que un modelo produzca salidas más precisas o especializadas. El ajuste fino cambia los pesos internos del modelo y es adecuado para enseñar un estilo, formato o habilidad especializada consistente; la recuperación, en cambio, proporciona hechos relevantes en el momento de la inferencia sin alterar el modelo, lo que facilita su actualización a medida que cambia la información de origen y reduce el riesgo de sobrescribir las capacidades generales del modelo. En la práctica, ambos se combinan a menudo, con un modelo ajustado que recurre a documentos recuperados para fundamentar sus respuestas.
Riesgos
El ajuste fino en un conjunto de datos estrecho puede causar olvido catastrófico, donde el modelo pierde capacidades generales que tenía antes de la adaptación, y el sobreajuste a un conjunto de ajuste fino pequeño es un riesgo persistente, particularmente cuando el número de ejemplos es pequeño en relación con la capacidad del modelo. El ajuste fino con datos sin filtrar o mal seleccionados también ha demostrado debilitar el entrenamiento de seguridad de un modelo, una preocupación que ha llevado a los proveedores a restringir o monitorear el acceso al ajuste fino de sus modelos más capaces.