Les méthodes à noyau sont une classe d'algorithmes en apprentissage automatique pour l'analyse de motifs, dont le machine à vecteurs de support (SVM) est le membre le plus connu. Ces méthodes appliquent des classificateurs linéaires à des problèmes non linéaires en exploitant une technique mathématique appelée l'astuce du noyau. Au lieu de transformer explicitement les données dans un espace de caractéristiques de haute dimension via une application de caractéristiques spécifiée par l'utilisateur, les méthodes à noyau reposent sur une fonction de noyau, qui calcule les produits scalaires entre des paires de points de données dans cet espace implicite. Cette approche est souvent moins coûteuse en calcul que le calcul explicite des coordonnées, et elle permet aux algorithmes de fonctionner dans des espaces qui peuvent être de dimension infinie tout en ne nécessitant qu'une matrice de dimension finie fournie par l'utilisateur, comme le garantit le théorème du représentant.
Le terme « noyau » fait référence à la fonction de similarité qui mesure la proximité de deux entrées quelconques. Des fonctions de noyau ont été développées pour divers types de données, notamment les séquences, les graphes, le texte, les images et les vecteurs. Les algorithmes qui peuvent fonctionner avec des noyaux incluent le perceptron à noyau, les machines à vecteurs de support, les processus gaussiens, l'analyse en composantes principales (ACP), l'analyse de corrélation canonique, la régression ridge, le regroupement spectral et les filtres adaptatifs linéaires. La plupart des algorithmes à noyau sont basés sur l'optimisation convexe ou des problèmes de valeurs propres et sont statistiquement bien fondés, leurs propriétés étant souvent analysées à l'aide de la théorie de l'apprentissage statistique, comme la complexité de Rademacher.
Motivation et explication informelle
Les méthodes à noyau peuvent être considérées comme des apprenants basés sur des instances. Plutôt que d'apprendre un ensemble fixe de paramètres correspondant aux caractéristiques d'entrée, elles « mémorisent » les exemples d'entraînement et apprennent un poids pour chacun. Pour une entrée non étiquetée, la prédiction implique de calculer une somme pondérée des similarités entre cette entrée et tous les exemples d'entraînement, en utilisant la fonction de noyau. Pour un classificateur binaire, l'étiquette prédite est le signe de cette somme. Cette approche a été décrite dès les années 1960 avec le perceptron à noyau, mais elle a gagné en importance dans les années 1990 avec l'essor du SVM, qui est devenu un outil standard dans la recherche et les applications en intelligence artificielle.
L'astuce du noyau et les espaces de caractéristiques
L'astuce du noyau est l'idée centrale derrière les méthodes à noyau. Elle permet aux algorithmes de fonctionner dans un espace de caractéristiques implicite de haute dimension sans jamais calculer les coordonnées des données dans cet espace. Au lieu de cela, seuls les produits scalaires entre les images des paires de données sont calculés. Cela est souvent moins coûteux que la transformation explicite. Par exemple, un noyau polynomial peut implicitement mapper les données dans un espace de tous les monômes jusqu'à un degré donné, permettant à un classificateur linéaire de séparer des données qui ne sont pas linéairement séparables dans l'espace d'entrée d'origine. L'application de caractéristiques dans les machines à noyau peut être de dimension infinie, mais le théorème du représentant garantit que la solution peut être exprimée comme une combinaison finie d'évaluations du noyau sur les données d'entraînement.
Fonctions de noyau courantes
Plusieurs fonctions de noyau sont largement utilisées en pratique. Le noyau linéaire est simplement le produit scalaire de deux vecteurs. Le noyau polynomial, de la forme (x·x' + c)^d, introduit la non-linéarité en considérant des produits de caractéristiques. Le noyau à fonction de base radiale (RBF), également connu sous le nom de noyau gaussien, est défini comme exp(-γ||x - x'||^2) et est un choix par défaut populaire car il peut approximer toute fonction continue avec suffisamment de données. D'autres noyaux incluent le noyau sigmoïde et des noyaux personnalisés conçus pour des structures de données spécifiques, comme les noyaux de chaînes pour le texte ou les noyaux de graphes pour les données structurées. Le choix du noyau et de ses paramètres affecte significativement les performances des algorithmes basés sur des noyaux.
Applications et limitations
Les méthodes à noyau ont été appliquées dans de nombreux domaines, notamment la vision par ordinateur, la bioinformatique, le traitement du langage naturel et le traitement du signal. Par exemple, les SVM avec des noyaux RBF étaient une approche de premier plan pour la classification d'images avant l'essor du apprentissage profond. Cependant, les méthodes à noyau présentent des limitations notables. Elles sont lentes à calculer pour des ensembles de données plus grands que quelques milliers d'exemples sans traitement parallèle, car la matrice de noyau évolue de manière quadratique avec le nombre d'échantillons. Cela a conduit au développement de méthodes approximatives et au passage vers des approches réseaux de neurones, qui peuvent gérer des données à grande échelle plus efficacement. Néanmoins, les méthodes à noyau restent précieuses pour leurs garanties théoriques et leur interprétabilité, et elles continuent d'être utilisées dans des applications spécialisées.
Relation avec l'apprentissage automatique moderne
Les méthodes à noyau partagent des liens conceptuels avec le apprentissage profond et les architectures transformeurs. Par exemple, le mécanisme d'attention dans les transformeurs peut être vu comme une forme de lissage par noyau, où des scores de similarité sont calculés entre les requêtes et les clés. Certains chercheurs ont exploré des connexions entre les réseaux de neurones de largeur infinie et les processus gaussiens, une méthode à noyau. Bien que l'apprentissage profond ait largement supplanté les méthodes à noyau dans de nombreuses applications pratiques en raison de l'évolutivité et de l'apprentissage de caractéristiques, les méthodes à noyau informent toujours la compréhension théorique et fournissent des références robustes. Elles sont également utilisées dans des approches hybrides, comme la régularisation basée sur des noyaux dans les réseaux de neurones.
Voir aussi
- machine à vecteurs de support (si disponible dans la liste, mais pas dans les slugs fournis ; utiliser apprentissage automatique et apprentissage profond comme connexes)
- intelligence artificielle
- apprentissage automatique
- apprentissage profond