Les fonctions objectives, également connues sous les noms de fonctions de perte, fonctions de coût ou fonctions d'utilité, sont des expressions mathématiques qui définissent le but d'un processus d'apprentissage en Machine learning. En Artificial intelligence, une fonction objective quantifie à quel point les prédictions d'un modèle correspondent aux résultats souhaités, fournissant une valeur scalaire que les algorithmes d'optimisation cherchent à minimiser ou maximiser. Le choix de la fonction objective façonne fondamentalement ce qu'un modèle apprend, influençant sa précision, sa robustesse et ses capacités de généralisation.
Dans l'apprentissage supervisé, la fonction objective mesure généralement l'écart entre les sorties prédites et les étiquettes de vérité terrain. Pour les tâches de régression, les choix courants incluent l'erreur quadratique moyenne, qui pénalise plus lourdement les grandes erreurs, et l'erreur absolue moyenne, qui est plus robuste aux valeurs aberrantes. Pour la classification, la perte d'entropie croisée est largement utilisée, en particulier dans les modèles de Neural network, car elle fournit des gradients lisses qui facilitent un entraînement efficace via la rétropropagation. Ces fonctions sont minimisées à l'aide d'optimiseurs basés sur le gradient, tels que la descente de gradient stochastique ou Adam, qui ajustent itérativement les paramètres du modèle pour réduire la perte.
Rôle dans l'apprentissage profond
Dans le Deep learning, les fonctions objectives ont évolué pour répondre aux complexités des modèles à grande échelle et des tâches diverses. Pour les architectures basées sur les Transformer (architecture), telles que celles utilisées dans les Large language model, l'entraînement emploie souvent la prédiction du jeton suivant avec une perte d'entropie croisée, où le modèle apprend à attribuer une probabilité élevée au mot correct suivant dans une séquence. Cet objectif, combiné à des ensembles de données massifs et à des ressources computationnelles, a permis des avancées dans la compréhension et la génération du langage naturel.
L'apprentissage par renforcement introduit une classe différente de fonctions objectives axées sur la maximisation de la récompense cumulative. Ici, l'objectif est souvent une somme actualisée des récompenses futures, et des algorithmes comme les méthodes de gradient de politique optimisent directement ce rendement attendu. En revanche, les objectifs d'apprentissage non supervisé, tels que la perte de reconstruction dans les autoencodeurs ou la perte contrastive dans les méthodes auto-supervisées, visent à apprendre des représentations utiles sans étiquettes explicites. Ces objectifs divers reflètent l'étendue des paradigmes d'apprentissage dans la recherche moderne en IA.
Développement historique
Les premiers travaux sur les fonctions objectives remontent au milieu du XXe siècle, avec des pionniers comme Bernard Widrow qui ont développé des éléments linéaires adaptatifs minimisant l'erreur quadratique moyenne pour la classification de motifs. Le perceptron, introduit par Frank Rosenblatt en 1958, utilisait une règle de mise à jour simple basée sur l'erreur, bien qu'il manquât d'un objectif différentiable. Le domaine a progressé de manière significative dans les années 1980 avec la popularisation de la rétropropagation, qui nécessitait des fonctions de perte différentiables pour les réseaux multicouches. Des chercheurs d'institutions telles que Xerox PARC et MIT CSAIL ont contribué à formaliser ces méthodes.
Les années 1990 et 2000 ont vu l'essor des machines à vecteurs de support, qui optimisent une perte de charnière pour maximiser la marge, et des modèles probabilistes qui maximisent la vraisemblance. Thomas G. Dietterich et Michael I. Jordan ont apporté des contributions fondamentales à la théorie de l'apprentissage statistique et aux modèles graphiques probabilistes, respectivement, façonnant la manière dont les fonctions objectives sont conçues et analysées. La résurgence de l'apprentissage profond après 2012, portée par des chercheurs de Stanford AI Lab et de University of Toronto, a encore souligné l'importance d'objectifs bien choisis pour entraîner de grands réseaux sur des tâches comme la reconnaissance d'images et le traitement de la parole.
Types et variantes
Les fonctions objectives peuvent être catégorisées selon leurs propriétés mathématiques et leur usage prévu. Les objectifs convexes, tels que ceux de la régression logistique, garantissent un minimum global et sont plus faciles à optimiser. Les objectifs non convexes, courants dans les réseaux profonds, peuvent avoir de nombreux minima locaux, mais des preuves empiriques montrent que la descente de gradient trouve souvent de bonnes solutions. Des termes de régularisation, tels que les pénalités L1 ou L2, sont fréquemment ajoutés aux objectifs pour prévenir le surapprentissage en pénalisant les poids importants.
Pour les modèles génératifs, des objectifs comme la perte antagoniste dans les réseaux antagonistes génératifs opposent un générateur à un discriminateur, créant un jeu minimax. Les autoencodeurs variationnels utilisent une perte de reconstruction combinée à un terme de divergence KL pour apprendre des représentations latentes. Dans le Generative AI, ces objectifs permettent aux modèles de produire des images, des sons et des textes réalistes. Des entreprises comme OpenAI et Google DeepMind ont développé des objectifs propriétaires pour leurs grands modèles, combinant souvent un ajustement fin supervisé avec un retour humain pour aligner les sorties sur l'intention de l'utilisateur.
Considérations pratiques
La conception d'une fonction objective efficace nécessite d'équilibrer plusieurs facteurs, notamment la performance de la tâche, la stabilité de l'entraînement et l'efficacité computationnelle. Des objectifs mal choisis peuvent entraîner des gradients qui disparaissent, un effondrement de mode ou des prédictions biaisées. Par exemple, dans la classification déséquilibrée, une perte d'entropie croisée simple peut favoriser la classe majoritaire, ce qui incite à utiliser des pertes pondérées ou une perte focale. Dans l'entraînement des Neural network, les calendriers de taux d'apprentissage et la mise à l'échelle de la perte sont souvent ajustés en parallèle avec l'objectif pour garantir la convergence.
Les métriques d'évaluation, telles que la précision, le score F1 ou BLEU, sont distinctes des fonctions objectives mais informent souvent leur conception. Les chercheurs peuvent utiliser des objectifs de substitution qui sont des approximations différentiables de métriques non différentiables. Dans l'apprentissage par renforcement, la conception de récompenses peut guider les agents vers des comportements souhaités, bien que des récompenses mal conçues puissent conduire à des stratégies non intentionnelles. Ces défis pratiques soulignent la nécessité d'une ingénierie minutieuse des objectifs dans les systèmes d'IA réels déployés par des organisations comme Amazon Web Services et Microsoft Azure.
Orientations futures
À mesure que les modèles d'IA gagnent en échelle et en capacité, les fonctions objectives évoluent pour intégrer l'apprentissage multitâche, le méta-apprentissage et l'alignement avec les valeurs humaines. L'optimisation multi-objectifs, qui équilibre des objectifs concurrents tels que la précision et l'équité, est un domaine de recherche actif. Anthropic et d'autres laboratoires explorent des objectifs qui encouragent l'utilité et l'innocuité, utilisant souvent des pertes basées sur les préférences dérivées du retour humain. Le développement d'objectifs robustes qui se généralisent à travers les domaines reste un défi clé, avec des contributions de groupes académiques comme BAIR (Berkeley AI Research) et Carnegie Mellon University.
Des paradigmes émergents, tels que les modèles de fondation et l'apprentissage auto-supervisé, reposent sur des objectifs qui capturent des motifs larges à partir de données non étiquetées. L'apprentissage contrastif, qui rapproche des échantillons similaires et éloigne des échantillons dissemblables, s'est révélé efficace pour les représentations visuelles et linguistiques. Les futures fonctions objectives pourraient intégrer le raisonnement causal, la quantification de l'incertitude et l'apprentissage interactif, repoussant les limites de ce que les systèmes d'IA peuvent accomplir. Le raffinement continu de ces outils mathématiques continuera de façonner la trajectoire de la recherche et des applications en Artificial intelligence.