La regularización se refiere a una amplia familia de técnicas utilizadas en el aprendizaje automático para reducir el sobreajuste, desalentando que un modelo se ajuste demasiado precisamente a los datos de entrenamiento, de modo que generalice mejor a datos nuevos. En lugar de cambiar qué intenta aprender un modelo, la mayoría de los métodos de regularización modifican cómo se le permite aprender, ya sea penalizando directamente la complejidad, inyectando ruido controlado durante el entrenamiento, o deteniendo el entrenamiento antes de que el modelo tenga la oportunidad de memorizar peculiaridades del conjunto de entrenamiento.
Métodos basados en pesos
El enfoque más antiguo y directo añade un término de penalización a la función de pérdida basado en la magnitud de los pesos del modelo, alentando al optimizador a preferir valores de pesos más pequeños y simples, a menos que los datos justifiquen fuertemente valores mayores. La regularización L2, también llamada decaimiento de pesos o regularización ridge, penaliza la suma de los pesos al cuadrado y tiende a reducir todos los pesos suavemente hacia cero. La regularización L1 penaliza la suma de los valores absolutos de los pesos y tiende a llevar algunos pesos exactamente a cero, realizando efectivamente una selección de características. En el aprendizaje profundo moderno, el decaimiento de pesos se aplica típicamente directamente dentro del optimizador, por ejemplo, como una modificación de Adam conocida como AdamW, en lugar de como un término explícito añadido a la pérdida.
Métodos estructurales y estocásticos
El dropout, introducido por el grupo de Geoffrey Hinton alrededor de 2012 y formalizado en un artículo ampliamente citado de 2014, desactiva aleatoriamente una fracción de las unidades de una red neuronal durante cada paso de entrenamiento, forzando a la red a evitar depender demasiado de una sola unidad o de una combinación fija de unidades, y entrenando efectivamente un conjunto implícito de subredes que comparten pesos. La normalización por lotes y sus sucesores, aunque introducidos principalmente para estabilizar y acelerar el entrenamiento, también tienen un efecto regularizador secundario al añadir ruido a las entradas de cada capa durante el entrenamiento. La aumentación de datos, que crea copias modificadas de ejemplos de entrenamiento, como imágenes rotadas o recortadas, o texto parafraseado, expande artificialmente la diversidad efectiva de los datos de entrenamiento y reduce la probabilidad de que un modelo se aferre a patrones superficiales y no generalizables.
Detención temprana y selección de modelos
La detención temprana detiene el entrenamiento una vez que el rendimiento en un conjunto de validación reservado deja de mejorar, incluso si la pérdida de entrenamiento continúa disminuyendo, atacando directamente la divergencia entre el rendimiento de entrenamiento y el de validación que define el sobreajuste. Esto requiere monitorear la pérdida de validación durante todo el entrenamiento, no solo al final, y es una de las técnicas de regularización más simples y ampliamente utilizadas precisamente porque no requiere cambios en el modelo ni en la función de pérdida, solo una regla de detención.
Regularización en modelos grandes
De manera algo contraintuitiva, los modelos de lenguaje grandes y los sistemas de aprendizaje profundo más grandes a menudo utilizan una regularización explícita más ligera que los modelos más pequeños, porque entrenar con enormes y diversos datos de entrenamiento con un número limitado de pasadas proporciona una forma natural de regularización: el modelo rara vez, si acaso, ve el mismo ejemplo dos veces, dejando poca oportunidad para memorizarlo. El dropout en particular se reduce o elimina con frecuencia en el preentrenamiento de transformadores a gran escala, aunque sigue siendo común en etapas de ajuste fino a menor escala, donde el sobreajuste a un conjunto de datos más reducido es un riesgo más realista.