El sobreajuste es un modo de fallo en el Machine learning en el que un modelo aprende los datos de entrenamiento con demasiada precisión, incluyendo su ruido y peculiaridades, a expensas de aprender patrones que generalicen a datos nuevos no vistos. Un modelo sobreajustado típicamente muestra un error muy bajo en los datos con los que fue entrenado, pero un error sustancialmente mayor en datos reservados, lo contrario del objetivo previsto de construir un modelo que funcione bien en ejemplos que nunca ha visto.
Causas
El sobreajuste tiende a ocurrir cuando un modelo tiene suficiente capacidad, es decir, suficientes parámetros o flexibilidad efectiva, para memorizar detalles idiosincrásicos de un conjunto de entrenamiento finito en lugar de verse forzado a encontrar los patrones más simples y generales que lo subyacen. Se vuelve más probable a medida que aumenta la proporción entre la capacidad del modelo y el tamaño de los datos de entrenamiento, razón por la cual el sobreajuste fue históricamente una preocupación mayor para conjuntos de datos pequeños y modelos comparativamente simples de lo que podría parecer para los modelos de lenguaje grandes actuales, cuyos conjuntos de entrenamiento son enormes. El sobreajuste también puede ocurrir de manera más local, por ejemplo, cuando un modelo se ajusta finamente en un conjunto de datos pequeño y estrecho después del preentrenamiento, donde puede perder algunas de sus capacidades más amplias mientras se sobreadapta al conjunto de ajuste fino, un fenómeno relacionado a veces llamado olvido catastrófico. Entrenar durante demasiadas pasadas sobre los mismos datos, conocido como demasiadas épocas, es una causa directa clásica, ya que un modelo con suficiente capacidad cambiará gradualmente de aprender patrones generales a memorizar ejemplos específicos cuanto más tiempo entrene con ellos.
Detección
La forma estándar de detectar el sobreajuste es monitorear una función de pérdida en un conjunto de validación, una porción de datos reservada del entrenamiento, junto con la pérdida de entrenamiento. Mientras ambas pérdidas caigan juntas, el modelo está generalizando; una vez que la pérdida de entrenamiento sigue cayendo mientras la pérdida de validación se estanca o aumenta, el modelo ha comenzado a sobreajustarse. Esta curva de validación es la base para la detención temprana, una técnica que detiene el entrenamiento cerca del punto donde el rendimiento de validación es mejor, y para elegir entre arquitecturas o configuraciones de hiperparámetros en competencia usando un conjunto de validación con el que el modelo nunca fue entrenado.
Mitigación
La familia general de técnicas para prevenir o reducir el sobreajuste se conoce como regularización, que incluye penalizaciones de peso, abandono, aumento de datos y simplemente reunir más o más diversos datos de entrenamiento para que las peculiaridades memorizables importen menos en relación con los patrones genuinos. La validación cruzada, que divide repetidamente los datos en diferentes particiones de entrenamiento y validación, proporciona una estimación más robusta de qué tan bien generaliza un modelo que una sola división de entrenamiento-validación, y es una práctica estándar para conjuntos de datos más pequeños donde un único conjunto reservado sería en sí mismo ruidoso.
Sobreajuste a nivel de punto de referencia
Una versión relacionada y de nivel superior del mismo problema afecta cómo todo el campo mide el progreso: cuando los investigadores ajustan repetidamente modelos contra el mismo punto de referencia público durante años, los resultados pueden mejorar en ese punto de referencia específico sin ganancias correspondientes en el mundo real, y los conjuntos de evaluación populares corren el riesgo de filtrarse en los datos de entrenamiento extraídos de la web, un problema llamado contaminación de puntos de referencia o de datos. Esto ha hecho que las evaluaciones reservadas y resistentes a la contaminación, y los puntos de referencia como ARC-AGI que están explícitamente diseñados para resistir la memorización, sean cada vez más importantes para medir honestamente si los modelos de lenguaje grandes están mejorando en el razonamiento genuino en lugar de sobreajustarse a distribuciones de prueba familiares.