Les fonctions de perte, également connues sous les noms de fonctions de coût ou fonctions objectif, sont des formulations mathématiques qui mesurent l'écart entre la sortie prédite d'un modèle et la valeur cible réelle. En apprentissage automatique, ces fonctions produisent une valeur d'erreur scalaire qui quantifie la performance d'un modèle sur un point de données ou un lot donné. Le processus d'optimisation pendant l'entraînement ajuste de manière itérative les paramètres du modèle pour minimiser cette perte, faisant du choix de la fonction de perte une décision de conception critique qui influence directement la dynamique d'apprentissage et le comportement final du modèle.
Le concept des fonctions de perte précède le apprentissage profond moderne, avec des racines dans la statistique classique et la théorie de l'optimisation. Les premiers travaux sur la régression linéaire utilisaient les erreurs quadratiques, tandis que la régression logistique a introduit des objectifs de type entropie croisée. La formalisation des fonctions de perte comme composants centraux des algorithmes d'apprentissage a gagné en importance grâce au développement de l'entraînement des réseaux de neurones par rétropropagation dans les années 1980 et 1990, avec des chercheurs comme Bernard Widrow contribuant au traitement adaptatif du signal et aux techniques de minimisation des erreurs.
Pertes de régression
Pour les tâches de prédiction de cibles continues, l'erreur quadratique moyenne (MSE) est parmi les fonctions de perte les plus utilisées. La MSE calcule la moyenne des différences au carré entre les prédictions et les valeurs réelles, pénalisant de manière disproportionnée les erreurs importantes. Sa simplicité mathématique et sa différentiabilité en font un choix par défaut pour de nombreux problèmes de régression, bien que sa sensibilité aux valeurs aberrantes puisse poser problème dans les ensembles de données bruités.
L'erreur absolue moyenne (MAE) offre une alternative qui traite toutes les erreurs de manière linéaire, offrant une robustesse aux valeurs aberrantes mais présentant un gradient non lisse à zéro. La perte de Huber combine les propriétés de la MSE et de la MAE, se comportant de manière quadratique pour les petites erreurs et linéairement pour les grandes, contrôlée par un paramètre delta. Cette approche hybride est souvent préférée dans les scénarios de régression robuste.
Pertes de classification
L'entropie croisée, également appelée perte logarithmique, est l'objectif standard pour les tâches de classification. Pour la classification binaire, elle mesure la divergence entre les distributions de probabilité prédites et les étiquettes réelles. La fonction pénalise fortement les prédictions incorrectes et confiantes, encourageant les modèles à produire des probabilités bien calibrées. Dans les contextes multi-classes, l'entropie croisée catégorielle étend cette approche à plusieurs catégories, souvent associée à une activation softmax dans la couche finale.
La perte de charnière (hinge loss), développée pour les machines à vecteurs de support, offre une alternative basée sur la marge qui se concentre sur la maximisation de la distance à la frontière de décision. Contrairement à l'entropie croisée, la perte de charnière n'exige pas de sorties probabilistes et est moins sensible aux exemples bien classifiés, ce qui la rend efficace sur le plan computationnel dans certains contextes. Des variantes comme la perte de charnière quadratique modifient la structure de pénalité pour une optimisation plus lisse.
Pertes contrastives et de classement
Les fonctions de perte contrastives sont conçues pour les tâches impliquant l'apprentissage de similarités, comme la vérification faciale ou l'évaluation de positions dans les échecs assistés par ordinateur. Ces fonctions opèrent sur des paires ou des triplets d'échantillons, rapprochant les éléments similaires tout en éloignant les éléments dissimilaires. La perte triplet, popularisée dans la recherche en reconnaissance faciale, utilise un ancrage, un échantillon positif et un échantillon négatif, optimisant les distances relatives dans un espace d'intégration.
Les pertes de classement étendent ce concept aux listes ordonnées, couramment utilisées dans les systèmes de recherche d'information et de recommandation. La perte de classement par paires compare l'ordre relatif des éléments positifs et négatifs, tandis que des approches par listes comme LambdaRank optimisent des listes de classement entières. Ces fonctions sont particulièrement pertinentes pour la recherche de produits dans les services web d'Amazon et d'autres systèmes de récupération à grande échelle.
Pertes personnalisées et spécifiques aux tâches
De nombreux domaines exigent des fonctions de perte sur mesure adaptées à des objectifs spécifiques. Dans l'IA générative, les pertes adverses issues des réseaux antagonistes génératifs opposent un générateur à un discriminateur, créant un problème d'optimisation minimax. Les pertes perceptuelles, introduites pour la génération d'images, comparent des représentations de caractéristiques de haut niveau provenant de réseaux pré-entraînés plutôt que des pixels bruts, produisant des résultats visuellement plus satisfaisants.
Pour l'entraînement des grands modèles de langage, la prédiction du prochain jeton utilise typiquement la perte d'entropie croisée sur les distributions de vocabulaire. Cependant, l'apprentissage par renforcement à partir de retours humains introduit des pertes basées sur les préférences qui alignent les sorties du modèle avec les jugements humains. Des entreprises comme OpenAI et Anthropic emploient des variantes de ces objectifs pour affiner les modèles en vue d'obtenir des réponses utiles et sûres.
Propriétés et sélection des fonctions de perte
Les propriétés théoriques des fonctions de perte influencent leur efficacité pratique. La convexité garantit l'optimalité globale dans l'optimisation, bien que les réseaux profonds modernes opèrent dans des paysages non convexes. La différentiabilité est requise pour les méthodes basées sur le gradient, avec des approches par sous-gradients gérant les fonctions non lisses comme la perte de charnière. Les propriétés de cohérence concernent la question de savoir si la minimisation d'une perte de substitution atteint l'erreur de Bayes optimale en classification.
Le choix de la fonction de perte dépend de la tâche, de la distribution des données et de l'architecture du modèle. Pour les ensembles de données déséquilibrés, des variantes pondérées ou la perte focale, qui réduit le poids des exemples faciles, peuvent améliorer les performances. Dans l'apprentissage multitâche, des pertes combinées nécessitent une pondération minutieuse pour équilibrer des objectifs concurrents. Les praticiens expérimentent souvent avec plusieurs fonctions de perte, car ce choix peut avoir un impact significatif sur la vitesse de convergence et la précision finale.
Optimisation et paysages de perte
L'interaction entre les fonctions de perte et les algorithmes d'optimisation façonne le paysage de perte. Michael Jordan et ses collègues ont étudié comment différentes pertes affectent la dynamique du gradient et la généralisation. La courbure de la fonction de perte influence le choix du taux d'apprentissage et l'efficacité des optimiseurs adaptatifs comme Adam. Les minima plats, souvent associés à une meilleure généralisation, peuvent être encouragés par des modifications de la perte telles que la minimisation sensible à la netteté.
Des termes de régularisation sont fréquemment ajoutés aux fonctions de perte pour prévenir le surapprentissage. La régularisation L1 et L2 pénalise les poids importants, tandis que l'abandon (dropout) agit comme un régulariseur stochastique. Ces ajouts modifient le paysage de perte effectif, établissant un compromis entre l'erreur d'entraînement et la complexité du modèle.
Développements récents
La recherche moderne explore des fonctions de perte qui intègrent l'incertitude, comme les pertes de régression hétéroscédastiques qui prédisent la variance en plus des moyennes. Dans les architectures transformeurs, les fonctions de perte ont été adaptées pour les tâches séquence à séquence, y compris le lissage des étiquettes pour éviter un excès de confiance. Google DeepMind et d'autres laboratoires de recherche ont étudié des pertes contrastives pour l'apprentissage auto-supervisé, permettant aux modèles d'apprendre des représentations sans étiquettes explicites.
La conception des fonctions de perte reste un domaine d'étude actif, avec des travaux théoriques reliant les choix de perte aux bornes de généralisation et des innovations pratiques émergeant des applications industrielles. Le développement d'approximations différentiables pour des objectifs non différentiables, comme dans la recherche d'architecture neuronale, continue d'élargir l'espace de conception. À mesure que les systèmes d'intelligence artificielle deviennent plus complexes, le rôle des fonctions de perte dans la formation du comportement et des capacités des modèles devient de plus en plus central, tant pour la recherche que pour le déploiement.