Vladimir Vapnik est un mathématicien et informaticien né en Union soviétique, surtout connu pour avoir cofondé la théorie de l'apprentissage statistique et pour avoir co-inventé la machine à vecteurs de support (SVM), l'un des algorithmes les plus utilisés en apprentissage automatique avant la résurgence du apprentissage profond après 2012.
Théorie de l'apprentissage statistique
Né en 1936 en Union soviétique, Vapnik a travaillé à l'Institut des sciences de contrôle à Moscou, où, à partir des années 1960, il a développé avec Alexey Chervonenkis ce qui est devenu connu sous le nom de théorie VC, d'après leurs initiales. La théorie VC fournit un cadre mathématique pour comprendre quand un algorithme d'apprentissage entraîné sur des données finies généralisera bien à de nouveaux exemples non vus, formalisé à travers le concept de dimension VC, une mesure de la complexité d'une classe de fonctions. Ce travail a donné au domaine du apprentissage supervisé une base théorique solide pour raisonner sur le compromis entre l'ajustement étroit aux données d'entraînement et l'évitement du surapprentissage, une préoccupation plus tard abordée dans les réseaux de neurones grâce à des techniques telles que la régularisation et le dropout.
Machines à vecteurs de support
Après avoir déménagé aux États-Unis en 1990 et rejoint les laboratoires Bell d'AT&T, Vapnik et ses collègues, dont Corinna Cortes, ont développé la machine à vecteurs de support moderne au début des années 1990, étendant les idées antérieures de classifieurs linéaires avec l'« astuce du noyau », qui permet à une SVM de trouver des frontières de décision non linéaires en mappant implicitement les données dans un espace de dimension supérieure. Soutenues par les garanties de généralisation de la théorie VC, les SVM sont devenues une alternative dominante et mathématiquement bien comprise aux réseaux de neurones tout au long des années 1990 et 2000, largement utilisées dans la classification de textes, la bioinformatique et la vision par ordinateur, durant une période où la recherche sur les réseaux de neurones était passée de mode après la réduction des financements du deuxième hiver de l'IA.
Carrière ultérieure
Vapnik a ensuite travaillé aux laboratoires NEC, à Facebook AI Research (partie de Meta AI), et comme professeur à l'université Columbia et à l'université de Londres. Son livre de 1995, The Nature of Statistical Learning Theory, reste une référence standard. Bien que les SVM aient finalement été dépassées par les réseaux de neurones profonds pour la plupart des tâches de perception à grande échelle une fois que des données et une puissance de calcul suffisantes ont rendu l'entraînement de bout en bout par descente de gradient pratique, le cadre théorique de Vapnik continue d'informer la manière dont les chercheurs pensent la généralisation, la complexité d'échantillonnage et les limites de ce qu'une quantité donnée de données d'entraînement peut soutenir.