Les méthodes à noyau sont une classe d'algorithmes en apprentissage automatique pour l'analyse de motifs, dont le membre le plus connu est la machine à vecteurs de support (SVM). Ces méthodes utilisent des classificateurs linéaires pour résoudre des problèmes non linéaires en opérant dans un espace de caractéristiques implicite de haute dimension. Au lieu de transformer explicitement les données en vecteurs de caractéristiques via une application de caractéristiques spécifiée par l'utilisateur, les méthodes à noyau ne nécessitent qu'une fonction de noyau, qui calcule un score de similarité entre des paires de points de données en utilisant des produits scalaires. Cette approche, appelée « astuce du noyau », permet à l'application de caractéristiques d'être de dimension infinie tout en ne nécessitant qu'une matrice de dimension finie de la part de l'utilisateur, comme le garantit le théorème du représentant. Les méthodes à noyau sont informatiquement lentes pour des ensembles de données dépassant quelques milliers d'exemples sans traitement parallèle, mais elles sont statistiquement bien fondées et largement utilisées dans des applications impliquant du texte, des images, des graphes et des données séquentielles.
L'astuce du noyau fonctionne en calculant des produits scalaires entre les images de points de données dans un espace de caractéristiques sans jamais calculer leurs coordonnées. Par exemple, un classificateur binaire à noyau prédit l'étiquette d'une entrée non étiquetée en calculant une somme pondérée de similarités entre cette entrée et tous les exemples d'entraînement, en utilisant une fonction de noyau k(x, x') qui mesure la similarité. Cette opération est souvent moins coûteuse que le calcul explicite des coordonnées, ce qui rend les méthodes à noyau efficaces pour de nombreuses tâches.
Développement historique
Les classificateurs à noyau ont été décrits dès les années 1960 avec l'invention du perceptron à noyau. Ils ont gagné en importance dans les années 1990 avec l'essor de la machine à vecteurs de support, qui est devenue un outil standard pour la classification et la régression. Les fondements théoriques ont été renforcés par la théorie de l'apprentissage statistique, qui a analysé les propriétés de généralisation à l'aide de mesures comme la complexité de Rademacher. Au fil du temps, les méthodes à noyau se sont étendues pour inclure des algorithmes tels que les processus gaussiens, l'analyse en composantes principales à noyau (ACP) et la régression ridge à noyau, et des fonctions de noyau ont été développées pour divers types de données, y compris les séquences, les graphes et le texte.
Algorithmes clés et applications
Les méthodes à noyau sous-tendent une variété d'algorithmes au-delà des SVM. Cela inclut le perceptron à noyau, les processus gaussiens, l'ACP à noyau, l'analyse de corrélation canonique, la régression ridge à noyau, le regroupement spectral et les filtres adaptatifs linéaires. La plupart de ces algorithmes sont basés sur l'optimisation convexe ou des problèmes de valeurs propres, ce qui garantit qu'ils ont des solutions bien définies. En pratique, les méthodes à noyau sont utilisées pour des tâches telles que la classification d'images, la bioinformatique et le traitement du langage naturel, où les relations non linéaires dans les données sont courantes. Par exemple, les machines à vecteurs de support avec des noyaux de fonction de base radiale sont largement appliquées en reconnaissance de formes.
L'astuce du noyau et les espaces de caractéristiques
L'astuce du noyau est centrale aux méthodes à noyau. Une fonction de noyau k(x, x') correspond à un produit scalaire dans un espace de caractéristiques, souvent de dimension élevée ou infinie. Par exemple, le noyau polynomial k(x, x') = (x · x' + c)^d mappe implicitement les données dans un espace de tous les monômes jusqu'au degré d. Le noyau gaussien de fonction de base radiale, k(x, x') = exp(-||x - x'||^2 / (2σ^2)), correspond à un espace de caractéristiques de dimension infinie. Ce mappage implicite permet aux algorithmes linéaires de capturer des motifs non linéaires sans construire explicitement les vecteurs de caractéristiques, ce qui serait informatiquement prohibitif.
Avantages et limites
Les méthodes à noyau offrent plusieurs avantages : elles sont théoriquement fondées, souvent convexes et peuvent gérer efficacement des données de haute dimension. Ce sont des apprenants basés sur des instances, ce qui signifie qu'ils conservent les exemples d'entraînement et les utilisent pour la prédiction, ce qui peut être intuitif. Cependant, elles ont des limites. Le coût de calcul évolue mal avec la taille de l'ensemble de données ; entraîner une SVM sur des millions d'exemples est difficile sans matériel spécialisé ou techniques d'approximation. De plus, le choix du noyau et de ses paramètres (par exemple, σ dans le noyau RBF) affecte considérablement les performances, et le réglage peut être non trivial. Au début des années 2020, les méthodes d'apprentissage profond ont surpassé les méthodes à noyau dans de nombreuses tâches à grande échelle, mais les méthodes à noyau restent précieuses pour les ensembles de données plus petits et pour fournir des perspectives théoriques.
Relation avec l'apprentissage automatique moderne
Les méthodes à noyau partagent des liens conceptuels avec les réseaux de neurones et le apprentissage profond. Par exemple, un réseau de neurones avec une largeur infinie peut être vu comme un processus gaussien, une méthode à noyau. Le théorème du représentant, qui sous-tend les méthodes à noyau, a des parallèles dans les espaces de fonctions appris par les réseaux de neurones. Cependant, l'apprentissage profond moderne, en particulier avec les transformeurs et les grands modèles de langage, a déplacé l'attention vers un apprentissage évolutif de bout en bout sur des ensembles de données massifs. Malgré cela, les méthodes à noyau continuent d'influencer la conception d'algorithmes, comme dans les réseaux résiduels et les mécanismes d'attention, où les fonctions de similarité jouent un rôle. Des chercheurs d'institutions comme le MIT CSAIL et le Stanford AI Lab ont exploré les connexions entre les méthodes à noyau et l'apprentissage profond, contribuant à une compréhension plus approfondie des deux.