Alex Krizhevsky ist ein Informatiker, geboren in der Ukraine und aufgewachsen in Kanada, der vor allem für die Mitentwicklung von AlexNet bekannt ist, dem tiefen faltenden neuronalen Netzwerk, das die ImageNet Large Scale Visual Recognition Challenge 2012 mit großem Abstand gewann. Als Doktorand an der University of Toronto unter der Leitung von Geoffrey Hinton entwarf und implementierte Krizhevsky das Netzwerk zusammen mit seinem Kommilitonen Ilya Sutskever, wobei Hinton als leitender Autor des resultierenden Papers fungierte.
AlexNet
AlexNet reduzierte die Fehlerrate bei der ImageNet-Klassifizierung um etwa zehn Prozentpunkte im Vergleich zum zweitbesten Beitrag, eine Lücke, die so groß war, dass sie die Erwartungen des Fachgebiets fast über Nacht veränderte. Das Design des Netzwerks kombinierte einen relativ tiefen Stapel von Faltungsschichten mit Techniken wie ReLU-Aktivierungen, Dropout-Regularisierung und, entscheidend, dem Training auf handelsüblichen Grafikkarten, was zeigte, dass GPUs das Training wesentlich größerer neuronaler Netzwerke praktikabel machen konnten. Das Ergebnis von 2012 wird weithin als das Ereignis zitiert, das eine skeptische Computer-Vision-Gemeinschaft davon überzeugte, Deep-Learning-Methoden zu übernehmen, und damit effektiv die Forschungs- und Investitionswelle auslöste, die die Fortschritte des folgenden Jahrzehnts in Computer Vision und später in großen Sprachmodellen hervorbrachte. Krizhevsky veröffentlichte auch cuda-convnet, eine effiziente GPU-Implementierung von Faltungsnetzwerken, die unter frühen Deep-Learning-Forschern weit verbreitet war und als praktische Referenzimplementierung diente, bevor größere Frameworks wie PyTorch und TensorFlow existierten.
Karriere nach AlexNet
Nach der Veröffentlichung des Papers gründeten Hinton, Sutskever und Krizhevsky ein kleines Unternehmen, DNNresearch, das 2013 von Google übernommen wurde und alle drei Forscher für eine Zeit in Googles KI-Bemühungen brachte. Krizhevsky arbeitete danach mehrere Jahre bei Google und trug zu internen Computer-Vision- und Deep-Learning-Systemen bei, zog sich jedoch in den folgenden Jahren weitgehend von öffentlicher Forschungstätigkeit und akademischen Veröffentlichungen zurück, im Gegensatz zum anhaltend hohen öffentlichen Profil seiner AlexNet-Mitautoren Hinton und Sutskever.
Vermächtnis
Trotz seines im Vergleich zu vielen Zeitgenossen relativ geringen öffentlichen Profils gilt Krizhevskys Beitrag als einer der entscheidenden Momente in der KI-Geschichte, häufig neben dem Dartmouth-Workshop und der Veröffentlichung von "Attention Is All You Need" als einer der prägenden Wendepunkte des Fachgebiets eingeordnet. AlexNet bleibt ein Standardreferenzpunkt, der in einführenden Deep-Learning-Kursen gelehrt wird, und es ist häufig das erste Beispiel, das Studierenden beim Lernen über Faltungsarchitekturen und den historischen Wandel hin zu GPU-beschleunigtem Training präsentiert wird.