Una función de pérdida, también llamada función de costo o función objetivo, es una función matemática que mide la diferencia entre las predicciones de un modelo y los valores objetivo reales que intenta igualar. Entrenar un modelo de aprendizaje automático es, en casi todos los casos, el proceso de ajustar sus parámetros para hacer que la salida de esta función sea lo más pequeña posible, típicamente usando descenso de gradiente guiado por gradientes calculados mediante retropropagación.
Formas comunes
Para tareas de regresión, donde el objetivo es un número continuo, el error cuadrático medio, el promedio de las diferencias al cuadrado entre predicciones y objetivos, es la pérdida más utilizada, penalizando los errores grandes de manera desproporcionadamente mayor que los pequeños. Para tareas de clasificación, la pérdida de entropía cruzada, a veces llamada pérdida logarítmica, mide la diferencia entre la distribución de probabilidad predicha sobre las clases y la distribución verdadera, y es la opción estándar para problemas que van desde la clasificación de imágenes hasta la predicción del siguiente token. Los modelos de lenguaje grandes se entrenan casi exclusivamente con una pérdida de entropía cruzada aplicada en cada posición de token, pidiendo efectivamente al modelo, en cada paso, que asigne la mayor probabilidad posible al siguiente token real en el texto de entrenamiento. Otras pérdidas sirven propósitos especializados: la pérdida de bisagra para clasificadores basados en márgenes como las máquinas de vectores de soporte, las pérdidas contrastivas y de tripletes para aprender incrustaciones donde elementos similares deberían terminar cerca entre sí en el espacio latente, y las pérdidas adversariales, donde la capacidad de una segunda red para distinguir datos reales de generados se convierte en la pérdida para el generador de una red generativa adversarial.
Pérdida versus lo que realmente queremos
Un tema recurrente en el aprendizaje automático es la brecha entre la función de pérdida, que es lo que un modelo se optimiza matemáticamente para minimizar, y el objetivo final real, que a menudo es más difícil de especificar con precisión. Un modelo de lenguaje grande entrenado puramente para minimizar la pérdida de entropía cruzada del siguiente token continuará texto con fluidez, pero no tiene un incentivo explícito para ser honesto, útil o seguro; esas propiedades se añaden después mediante objetivos adicionales como RLHF, donde un modelo de recompensa aprendido proporciona una señal de pérdida adicional moldeada por preferencias humanas. Cuando un modelo encuentra una manera de obtener una buena puntuación en su función de pérdida o en una métrica proxy relacionada sin lograr genuinamente el objetivo previsto, el resultado se llama manipulación de recompensa, un modo de fallo que se vuelve más consecuente a medida que se les da a los modelos más autonomía y mejor optimización.
Pérdida y generalización
Una función de pérdida normalmente se evalúa tanto en un conjunto de entrenamiento, del cual el modelo aprende directamente, como en un conjunto de validación reservado, que estima qué tan bien se desempeñará el modelo con datos nuevos. Una brecha grande y persistente entre la pérdida de entrenamiento y la pérdida de validación es la firma clásica del sobreajuste, donde un modelo ha memorizado efectivamente detalles de los datos de entrenamiento en lugar de aprender patrones que generalizan. Las técnicas agrupadas bajo regularización, como las penalizaciones de peso añadidas directamente a la función de pérdida, el abandono y la detención temprana basada en la pérdida de validación, son las herramientas estándar para mantener esta brecha bajo control. Debido a que el paisaje de pérdida de una red profunda es extremadamente de alta dimensión, la forma específica de la función de pérdida, y no solo su valor final, afecta materialmente la facilidad con la que se puede entrenar un modelo, motivando la investigación sobre la suavidad del paisaje de pérdida y su conexión con elecciones arquitectónicas como capas de normalización y conexiones residuales.