L'interprétation bayésienne de la régularisation par noyau est un cadre conceptuel en apprentissage automatique qui considère les méthodes d'apprentissage à base de noyaux, telles que les machines à vecteurs de support et la régression par processus gaussiens, à travers le prisme de l'inférence bayésienne. Dans cette perspective, le choix d'une fonction de noyau encode une distribution de probabilité a priori sur les fonctions possibles, et le paramètre de régularisation agit comme un hyperparamètre qui contrôle la force de cet a priori par rapport aux données observées. L'algorithme d'apprentissage résultant produit une distribution a posteriori, la solution régularisée correspondant souvent à l'estimation du maximum a posteriori (MAP).
Cette interprétation fournit une manière fondée de comprendre pourquoi la régularisation améliore la généralisation : elle incarne une croyance a priori que la fonction sous-jacente réelle est lisse ou a une complexité limitée. En modélisant explicitement l'incertitude, la perspective bayésienne offre également des outils pour la sélection d'hyperparamètres, tels que la maximisation de la vraisemblance marginale, et pour quantifier l'incertitude prédictive, ce qui est précieux dans des applications comme l'apprentissage actif et la prise de décision sous incertitude.
Formulation mathématique
Dans la régression ridge à noyau, l'objectif est de minimiser une perte régularisée : $\sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \|f\|_{\mathcal{H}}^2$, où $\mathcal{H}$ est un espace de Hilbert à noyau reproduisant (RKHS) avec un noyau $k$, et $\lambda > 0$ est le paramètre de régularisation. D'un point de vue bayésien, cela peut être dérivé en plaçant un a priori de processus gaussien sur $f$ avec une moyenne nulle et une fonction de covariance $k(x, x')$. En supposant un bruit gaussien avec une variance $\sigma^2$, la distribution a posteriori sur les fonctions est également un processus gaussien, et sa fonction moyenne est exactement la solution du problème des moindres carrés régularisés lorsque $\lambda = \sigma^2 / \tau^2$, où $\tau^2$ est l'échelle de variance a priori.
L'équivalence a été formalisée dans les années 1990 par des chercheurs, notamment Christopher Bishop et d'autres, qui ont montré que le terme de régularisation correspond au logarithme négatif de la densité a priori, et que la perte correspond au logarithme négatif de la vraisemblance. Cette dualité permet aux praticiens de passer de manière transparente entre les interprétations algorithmique et probabiliste.
Rôle du noyau comme a priori
La fonction de noyau $k(x, x')$ définit la structure de covariance de l'a priori, qui détermine les propriétés de lissage et de stationnarité des fonctions considérées. Par exemple, le noyau à fonction de base radiale (RBF) $k(x, x') = \exp(-\|x - x'\|^2 / (2\ell^2))$ avec une échelle de longueur $\ell$ encode un a priori favorisant des fonctions qui varient lentement sur des distances inférieures à $\ell$. En revanche, un noyau linéaire $k(x, x') = x \cdot x'$ correspond à un a priori sur des fonctions linéaires, et un noyau polynomial de degré $d$ se restreint aux polynômes de degré au plus $d$.
Cette interprétation clarifie que le choix du noyau n'est pas simplement une commodité computationnelle mais une décision de modélisation substantielle. Elle motive également l'utilisation de noyaux à détermination de pertinence automatique (ARD), où chaque dimension d'entrée a sa propre échelle de longueur, permettant à l'a priori de s'adapter à la pertinence des différentes caractéristiques. De tels noyaux sont largement utilisés dans les modèles de processus gaussien pour la régression et la classification.
Connexion avec les processus gaussiens
Les processus gaussiens (GP) sont le traitement bayésien canonique des méthodes à noyaux. Dans un GP, l'a priori sur les fonctions est entièrement spécifié par une fonction de moyenne (souvent nulle) et une fonction de covariance (le noyau). Étant donné les données d'entraînement, l'a posteriori est calculé analytiquement, produisant à la fois une moyenne prédictive et une variance prédictive. La moyenne prédictive coïncide avec la solution de la régression ridge à noyau, tandis que la variance fournit une estimation d'incertitude qui n'est pas disponible dans un cadre purement fréquentiste.
Cette connexion a des implications pratiques. Par exemple, dans optimisation bayésienne et apprentissage actif, la variance prédictive guide la sélection de nouveaux points de données. De plus, la vraisemblance marginale, qui intègre les valeurs de la fonction, peut être utilisée pour ajuster les hyperparamètres du noyau (tels que les échelles de longueur et la variance du bruit) en maximisant le logarithme de la vraisemblance marginale. C'est une alternative fondée à la validation croisée, bien que plus coûteuse en calcul pour les grands ensembles de données.
Paramètre de régularisation comme force de l'a priori
Le paramètre de régularisation $\lambda$ dans les méthodes à noyaux correspond directement au rapport entre la variance du bruit et la variance a priori. Un grand $\lambda$ correspond à un a priori fort (ou un bruit élevé), conduisant à des fonctions plus lisses et à un rétrécissement plus important vers la moyenne a priori. Un petit $\lambda$ permet au modèle de s'ajuster plus étroitement aux données, risquant un surajustement. Dans le cadre bayésien, $\lambda$ n'est pas un bouton de réglage libre mais une conséquence du niveau de bruit et de l'échelle a priori supposés, qui peuvent être estimés à partir des données via la vraisemblance marginale.
Cette perspective explique également le comportement de la régularisation à la limite. Lorsque $\lambda \to 0$, la solution s'approche de la fonction d'interpolation qui ajuste exactement tous les points d'entraînement, ce qui est souvent indésirable. Lorsque $\lambda \to \infty$, la solution s'effondre vers la moyenne a priori (typiquement nulle). Le $\lambda$ optimal équilibre le biais et la variance, et le cadre bayésien fournit une manière fondée de le trouver sans recourir à une recherche par grille.
Applications et extensions
L'interprétation bayésienne a été étendue à divers modèles à base de noyaux. Dans les machines à vecteurs de support, la perte charnière ne correspond pas à une vraisemblance gaussienne standard, mais une interprétation probabiliste peut être obtenue en utilisant une approximation de Laplace ou en traitant la SVM comme une estimation MAP sous un a priori spécifique. Plus généralement, le cadre sous-tend les machines à vecteurs de pertinence, qui utilisent une approche d'apprentissage bayésien parcimonieuse pour sélectionner un sous-ensemble de points d'entraînement comme vecteurs de pertinence.
Dans le apprentissage profond moderne, la vision bayésienne de la régularisation par noyau a influencé l'étude des réseaux de neurones infiniment larges, qui convergent vers des processus gaussiens (le processus gaussien de réseau de neurones, ou NNGP). Cette connexion, explorée par des chercheurs tels que Jacob Steinhardt et d'autres, fait le pont entre les méthodes à noyaux et les réseaux de neurones, permettant aux idées de l'inférence bayésienne d'informer la conception d'architectures et l'entraînement. De plus, le concept est central dans la régression par processus gaussien en apprentissage automatique probabiliste et est enseigné dans des manuels standard comme ceux de Christopher Bishop et Carl Rasmussen.
Limites et critiques
Malgré son élégance, l'interprétation bayésienne a des limites. L'a priori sur les fonctions est souvent choisi pour des raisons de commodité computationnelle plutôt que pour une connaissance a priori réelle, ce qui peut conduire à des modèles mal spécifiés. L'hypothèse de bruit gaussien peut être violée en pratique, et la vraisemblance marginale peut être sensible au choix du noyau et des hyperparamètres. De plus, pour les grands ensembles de données, l'inférence bayésienne exacte dans les GP a une complexité cubique en fonction du nombre de points d'entraînement, nécessitant des approximations telles que les GP parcimonieux ou les méthodes de points inducteurs.
Les critiques notent également que l'estimation MAP, que calcule la régression ridge à noyau, ne capture pas pleinement l'incertitude a posteriori, et que la justification bayésienne ne garantit pas automatiquement de meilleures performances prédictives que les alternatives fréquentistes. Néanmoins, l'interprétation reste un outil conceptuel puissant pour comprendre la régularisation et pour développer de nouveaux algorithmes.