Wladimir Wapnik ist ein in der Sowjetunion geborener Mathematiker und Informatiker, der vor allem für seine Mitbegründung der statistischen Lerntheorie und für die Miterfindung der Support Vector Machine (SVM) bekannt ist, einem der am weitesten verbreiteten Algorithmen im maschinellen Lernen vor dem Wiederaufleben des tiefen Lernens nach 2012.
Statistische Lerntheorie
Geboren 1936 in der Sowjetunion, arbeitete Wapnik am Institut für Regelungstechnik in Moskau, wo er ab den 1960er Jahren zusammen mit Alexei Tscherwonenkis das entwickelte, was nach ihren Initialen als VC-Theorie bekannt wurde. Die VC-Theorie liefert einen mathematischen Rahmen zum Verständnis, wann ein auf endlichen Daten trainierter Lernalgorithmus gut auf neue, unbekannte Beispiele verallgemeinert, formalisiert durch das Konzept der VC-Dimension, ein Maß dafür, wie komplex eine Klasse von Funktionen ist. Diese Arbeit gab dem Gebiet des überwachten Lernens eine prinzipielle theoretische Grundlage, um über den Kompromiss zwischen enger Anpassung an die Trainingsdaten und der Vermeidung von Überanpassung nachzudenken, ein Anliegen, das später in neuronalen Netzen durch Techniken wie Regularisierung und Dropout adressiert wurde.
Support Vector Machines
Nach seinem Umzug in die Vereinigten Staaten im Jahr 1990 und seinem Eintritt bei AT&T Bell Labs entwickelte Wapnik zusammen mit Kollegen wie Corinna Cortes Anfang der 1990er Jahre die moderne Support Vector Machine, die frühere Ideen linearer Klassifikatoren um den "Kernel-Trick" erweiterte, der es einer SVM ermöglicht, nichtlineare Entscheidungsgrenzen zu finden, indem Daten implizit in einen höherdimensionalen Raum abgebildet werden. Gestützt auf die Generalisierungsgarantien der VC-Theorie wurden SVMs in den 1990er und 2000er Jahren zu einer dominanten, mathematisch gut verstandenen Alternative zu neuronalen Netzen, die häufig in Textklassifikation, Bioinformatik und Computer Vision eingesetzt wurden, in einer Zeit, in der die Neuronale-Netze-Forschung nach der reduzierten Finanzierung des zweiten KI-Winters aus der Mode gekommen war.
Spätere Karriere
Wapnik arbeitete später bei NEC Laboratories, Facebook AI Research (Teil von Meta AI) sowie als Professor an der Columbia University und der University of London. Sein Buch "The Nature of Statistical Learning Theory" von 1995 bleibt ein Standardreferenzwerk. Obwohl SVMs schließlich für die meisten groß angelegten Wahrnehmungsaufgaben von tiefen neuronalen Netzen überholt wurden, sobald ausreichende Daten und Rechenleistung ein end-to-end Gradientenabstiegs-Training praktikabel machten, beeinflusst Wapniks theoretischer Rahmen weiterhin, wie Forscher über Generalisierung, Stichprobenkomplexität und die Grenzen dessen, was eine gegebene Menge an Trainingsdaten unterstützen kann, denken.