Les processus gaussiens (GP) sont une classe de processus stochastiques qui offrent un cadre puissant et flexible pour la modélisation bayésienne non paramétrique. En substance, un processus gaussien définit une distribution sur des fonctions, telle que toute collection finie de valeurs de fonction suit une distribution gaussienne multivariée. Cette propriété permet une quantification princière de l’incertitude et l’intégration de connaissances a priori, faisant des GP une pierre angulaire de l’apprentissage automatique moderne et de la théorie de l’apprentissage statistique.
Formellement, un processus gaussien est caractérisé par une fonction moyenne \( m(x) \) et une fonction de covariance (ou noyau) \( k(x, x') \). La fonction moyenne encode la valeur attendue de la fonction en tout point d’entrée, tandis que la fonction de covariance spécifie la corrélation entre les valeurs de la fonction à différents points. Le choix du noyau est crucial, car il détermine la régularité, la périodicité et d’autres propriétés structurelles des fonctions tirées de l’a priori. Les noyaux courants incluent le noyau exponentiel quadratique (ou fonction de base radiale), les noyaux de Matérn et les noyaux périodiques, chacun offrant différents biais inductifs.
Inférence et prédiction bayésiennes
La nature bayésienne des processus gaussiens permet une inférence élégante. Étant donné un ensemble de points de données observés \( \{(x_i, y_i)\} \), on peut conditionner la distribution a priori sur ces observations pour obtenir une distribution a posteriori sur les fonctions. Cette a posteriori capture les croyances mises à jour concernant la fonction sous-jacente, en intégrant à la fois l’a priori et les données. Pour une nouvelle entrée \( x_* \), la distribution prédictive est gaussienne, avec une moyenne et une variance calculables analytiquement à l’aide d’opérations matricielles. Cette solution sous forme fermée est un avantage clé, car elle évite le recours à des méthodes d’approximation souvent nécessaires dans d’autres modèles bayésiens.
La variance prédictive fournit une mesure naturelle de l’incertitude, qui augmente dans les régions où les données sont rares et diminue à proximité des points observés. Cette propriété est particulièrement précieuse dans des applications telles que l’apprentissage actif, où l’on cherche à interroger les points de données les plus informatifs, et l’optimisation bayésienne, où l’objectif est de trouver l’optimum global d’une fonction coûteuse à évaluer.
Développement historique et contributeurs clés
Les fondements théoriques des processus gaussiens ont été posés au milieu du XXe siècle, avec des contributions de statisticiens tels qu’Andrey Kolmogorov et Norbert Wiener. Cependant, leur adoption généralisée en apprentissage automatique a commencé dans les années 1990, en grande partie grâce aux travaux de Michael I. Jordan et Christopher M. Bishop, qui ont contribué à populariser le lien entre les GP et les réseaux de neurones. En 1996, Carl Edward Rasmussen et Christopher K. I. Williams ont publié le manuel de référence « Gaussian Processes for Machine Learning », qui reste une référence incontournable. Leurs travaux, ainsi que ceux de David J. C. MacKay et Radford M. Neal, ont établi les GP comme un outil rigoureux et pratique pour la régression et la classification.
Relation avec les réseaux de neurones
Un lien notable existe entre les processus gaussiens et les réseaux de neurones. Dans la limite d’une largeur infinie des couches cachées, un réseau de neurones à poids aléatoires converge vers un processus gaussien, un résultat démontré pour la première fois par Radford M. Neal dans les années 1990. Cette idée a été ravivée récemment avec le développement des noyaux tangents neuronaux (NTK), qui montrent que la dynamique d’entraînement des réseaux larges peut être décrite par un processus gaussien avec un noyau spécifique. Cette relation fournit un pont théorique entre l’apprentissage profond et les méthodes bayésiennes classiques, offrant une perspective pour comprendre les propriétés de généralisation des modèles surparamétrés.
Applications en apprentissage automatique et au-delà
Les processus gaussiens sont largement utilisés dans divers domaines. En régression, ils offrent des performances de pointe sur des ensembles de données de petite à moyenne taille, en particulier lorsque des estimations d’incertitude sont requises. En classification, ils peuvent être adaptés à l’aide d’une fonction de lien logistique ou probit, bien que l’inférence devienne alors non gaussienne et nécessite des approximations telles que l’approximation de Laplace ou la propagation d’espérances. En intelligence artificielle et en robotique, les GP sont employés pour l’apprentissage de politiques de contrôle, la modélisation de systèmes dynamiques, et dans la conduite autonome pour la modélisation du terrain et des obstacles.
Dans le domaine de l’apprentissage profond, les GP ont été utilisés comme composants de modèles hybrides, tels que les processus gaussiens profonds, qui empilent plusieurs couches de GP pour apprendre des représentations hiérarchiques. De plus, les GP jouent un rôle crucial dans l’optimisation bayésienne, une technique clé pour le réglage des hyperparamètres des grands modèles de langage et d’autres modèles complexes, ainsi que dans la conception expérimentale en sciences physiques.
Défis computationnels et passage à l’échelle
Une limitation majeure des processus gaussiens standard réside dans leur complexité computationnelle, qui croît en \( O(n^3) \) pour l’entraînement et en \( O(n^2) \) pour la prédiction, où \( n \) est le nombre de points d’entraînement. Cela les rend impraticables pour de grands ensembles de données. Pour remédier à cela, diverses approximations évolutives ont été développées, notamment les processus gaussiens parcimonieux utilisant des points inducteurs, l’inférence variationnelle stochastique et les approximations de noyaux par des caractéristiques aléatoires de Fourier. Ces méthodes visent à réduire la charge computationnelle tout en préservant la précision prédictive, permettant d’appliquer les GP à des problèmes comportant des millions de points de données.
Les progrès récents en matériel, tels que les GPU d’AMD et de NVIDIA, ainsi que les bibliothèques logicielles comme GPyTorch et scikit-learn, ont également contribué à rendre les GP plus accessibles et efficaces. Malgré ces améliorations, le choix entre les GP et d’autres modèles dépend souvent de la taille de l’ensemble de données et du besoin d’une quantification de l’incertitude.
Conclusion
Les processus gaussiens restent un outil fondamental dans l’arsenal des statisticiens et des praticiens de l’apprentissage automatique. Leur capacité à fournir des estimations d’incertitude bien calibrées, à intégrer des connaissances a priori et à s’adapter à divers types de données les rend précieux dans de nombreuses applications scientifiques et techniques. Alors que les techniques computationnelles continuent d’évoluer, les GP sont susceptibles de rester pertinents, en particulier dans les domaines où les données sont rares et où l’incertitude est critique.