Une machine à vecteurs de support (SVM) est un modèle d'apprentissage supervisé utilisé pour la classification, la régression et la détection de valeurs aberrantes. Elle construit un hyperplan ou un ensemble d'hyperplans dans un espace de haute dimension afin de séparer les points de données de différentes classes avec la plus grande marge possible. Développées aux laboratoires Bell d'AT&T, les SVM sont ancrées dans des cadres d'apprentissage statistique tels que la théorie VC, proposée par Vladimir Vapnik et Alexey Chervonenkis dans les années 1970 et 1980. Elles font partie des modèles les plus étudiés dans le apprentissage automatique en raison de leur traçabilité théorique et de leur flexibilité dans diverses tâches.
Les SVM effectuent une classification linéaire en trouvant l'hyperplan à marge maximale qui sépare au mieux les classes. Pour les problèmes non linéaires, elles emploient l'astuce du noyau, qui mappe implicitement les entrées dans des espaces de caractéristiques de dimension supérieure où une séparation linéaire devient possible. Cette approche ne représente les données que par des comparaisons de similarité par paires à l'aide d'une fonction de noyau, ce qui réduit la complexité algorithmique. En tant que modèles à marge maximale, les SVM sont résilientes au bruit des données, comme les exemples mal classés, et peuvent être adaptées aux tâches de régression avec un objectif sensible à epsilon.
Motivation et concepts fondamentaux
La classification des données est une tâche courante dans l'apprentissage automatique. Dans un problème de classification binaire, avec des points de données appartenant chacun à l'une des deux classes, le but est de décider à quelle classe appartient un nouveau point. Dans les SVM, chaque point de données est considéré comme un vecteur en dimension p, et l'objectif est de trouver un hyperplan en dimension p-1 qui sépare les classes. Cette approche est appelée un classificateur linéaire. De nombreux hyperplans peuvent classer les données, mais le choix optimal est celui qui maximise la marge - la distance aux points de données les plus proches de chaque côté. Cet hyperplan à marge maximale définit un classificateur à marge maximale, également connu sous le nom de perceptron de stabilité optimale.
Formellement, une SVM construit un hyperplan ou un ensemble d'hyperplans dans un espace à haute dimension ou infinie. Une bonne séparation est obtenue par l'hyperplan ayant la plus grande distance au point de données d'entraînement le plus proche de toute classe, car une marge plus grande tend à réduire l'erreur de généralisation et à limiter le sur-apprentissage.
L'astuce du noyau
Lorsque les données originales ne sont pas linéairement séparables dans un espace de dimension finie, les SVM mappent les données dans un espace de dimension beaucoup plus élevée où la séparation est plus facile. Pour gérer ces calculs, la fonction de mappage est conçue de sorte que les produits scalaires de paires de vecteurs d'entrée puissent être calculés facilement dans la espace d'origine grâce à une fonction de noyau k(x, y). Les hyperplans dans l'espace supérieur sont définies par un ensemble de points dont le produit scalaire avec un vecteur est constant. Ces vecteurs sont des combinaisons linéaires de vecteurs caractéristiques issues des données, avec des paramètres alpha_i. La fonction de décision devient une somme de termes de noyau : somme_i alpha_i k(x_i, x) = constante. Si le noyau devient petit lorsque y s'éloigne de x, chaque terme mesure la proximité d'un point de test à un point de données. Cela permet une discrimination complexe entre ensembles qui ne sont pas convexes dans l'espace d'origine.
Les fonctions de noyau communes incluent les noyaux linéaire, polynomial, à base de fonction radiale (RBF) et sigmoïde. Le choix du noyau et de ses paramètres affecte significativement les performances.
Principe de marge maximale et régularisation
Le principe de marge maximale vise à trouver un hyperplan qui maximise la marge entre les classes. En pratique, les données peuvent ne pas être parfaitement séparables, les SVM introduisent donc une marge souple qui permet certaines erreurs de classification. Cela est contrôlé par un paramètre de régularisation, souvent noté C, qui équilibre la maximisation de la marge et l'erreur de classification. Un C plus élevé pénalise plus fortement les erreurs, ce qui peut mener à du sur-apprentissage, tandis qu'un C plus faible donne une marge plus large mais plus d'erreurs d'entraînement. Ce compromis est crucial pour la généralisation.
Vecteurs de support et formulation duale
Les vecteurs de support sont les points de données d'entraînement les plus proches de la frontière de décision et déterminent l'hyperplan. Seuls ces points influencent le modèle ; les autres peuvent être supprimés sans affecter solutionne la solution. Le problème d'optimisation est souvent résolu dans sa forme duale, où l'objectif dépend des produits scala des points de données, ce qui rend applicable l'astuce du noyau. La formulation duale permet également de traiter efficacement des espaces de caractéristiques de grande . dimension.
Applications
Les SVM ont été appliquées à un large éventail de tâches, y compris la classification de textes, la reconnaissance d'images, la bio-informatique (par exemple, la classification de protéines) et la reconnaissance de chiffres manuscrits. Elles sont également utilisées pour des problèmes de prédiction structurées. Leur popularité découle de leurs fondements théoriques et de leur flexibilité. Cependant, il n'est pas évident que les SVM aient une meilleure performance prédictive que les autres modèles linéaires comme la régression logistique ou la régression linéaire ; leur avantage réside souvent dans la gestion de frontières non linéaires avec des noyaux.
Extensions et variantes
Il existe plusieurs extensions, y compris la régression par machine à vecteurs de support (SVR) pour des tâches de régression, où l'objectif est sensible à epsilon. Le regroupement par machine à vecteurs de support, créé par Hava Siegelmann et Vladimir Vapnik, applique les statistiques des SVM à l'apprentissage non supervisé, catégorisant des données non étiquetées en grappes naturelles. Les SVM ont également été combinées avec d'autres techniques, comme des ensembles de réseaux de neurones, pour améliorer les performances.
Relations avec d'autres modèles
Les SVM sont liées à autres méthodes apprentissage supervisé, y compris la régression logistique et les modèles de réseaux de neurones. La régression logistique modélise les probabilités directement, les SVM se concentrent sur la maximisation de la marge. Dans les espaces à grande dimension, les SVM peuvent s'avérer plus efficaces lorsque le nombre de caractéristiques dépasse le nombre d'exemples. Cependant, avec l'essor de Deep learning, les SVM ont été quelque peu relégués dans les tâches telles que la reconnaissance d'images et de parole, où les réseaux de neurones excellent. Néanmoins, les SVM restent un outil fondamental de l'apprentissage automatique, notamment pour des ensembles de données petites et moyennes et pour des problèmes où la interprétabilité et les garanties théoriques sont valorisées.
Fondements théoriques
Les SVM sont basées sur la théorie valEnder, en particulier la théorie VC, qui fournit des bornes sur l'erreur de généralisation. La dimension VC mesure la capacité d'un modèle, et les SVM visent à contrôler cette capacité pour éviter le sur-apprentissage. Le développement des SVM dans les années 1990, en particulier par Vapnik et ses collègues aux laboratoires Bell d'AT&T, a marqué une avancée significative dans l'apprentissage automatique. L'astuce du noyau, propose à l'origine dans le années 1960, a été intégrée aux SVM afin de créer des classificateurs puissants non linéaires.
Considérations pratiques
Lors de l'utilisation de ces machines, les praticiens doivent choisir un noyau approprié et régler des hyperparamètres tels que C et des paramètres spécifiques au noyau (par exemple, gamma pour le RBF). Le redimensionnement des caractéristique est souvent nécessaire à une marge judicieuse. Les SVM sont très exigeantes en calcul pour de grandes bases de données, mais des techniques comme l'optimisation séquentielle minimale (SMO) ont rendu possible l'entraînement. Des bibliothèques telles que LIBSVM et scikit-learn proposent des implémentations efficaces.
Limites et statut actuel
Les SVM ont des limites, notamment une sensibilité au choix du noyau et au réglage des paramètres, ainsi qu'une difficulté à passer à des ensembles de données très volumineux. À l'ère du apprentissage profond, les SVM sont moins dominantes dans les domaines like de la vision par ordinateur et du traitement automatique du langage naturel, où les modèles de réseaux de neurones ont obtenu des résultats récents. Cependant, les SVM restent pertinentes pour de nombreuses applications, particulièrement où les données sont limitées ou où l'on recherche des garanties théoriques. Elles sont également utilisées comme composants dans des modèles hybrides, tels que les SVM avec extraction de caractéristiques profondes.
Conclusion
Les machines à vecteurs de segments clés de l'apprentissage automatique classique, offrant une classification et une régression robustes grâce à l'optimisation de la marge et à l'astuce du noyau, ou non, ne sont pas nodimensionnelle. Leurs fondements théoriques et leur flexibilité en ont fait un outil durable, même concurrence à l'émergence de modèles plus récents comme apprentissage profond. Comprendre les SVM est essentiel pour toute personne étudiant apprentissage automatique et ses applications.