Jürgen Schmidhuber (geboren am 17. Januar 1963) ist ein deutscher Informatiker, der für seine Arbeiten auf dem Gebiet der künstlichen Intelligenz, insbesondere der künstlichen neuronalen Netze, bekannt ist. Er wird von Medien als führender Pionier der modernen künstlichen Intelligenz beschrieben. Er ist wissenschaftlicher Direktor des Dalle Molle Institute for Artificial Intelligence Research in der Schweiz und Direktor der Artificial Intelligence Initiative an der King Abdullah University of Science and Technology (KAUST) in Saudi-Arabien.
Schmidhuber ist vor allem für seine Arbeit an Long Short-Term Memory (LSTM) bekannt, einer Art von neuronales Netz-Architektur, die in den 2010er Jahren zur dominierenden Technik für verschiedene Aufgaben der natürlichen Sprachverarbeitung in Forschung und kommerziellen Anwendungen wurde. Er führte auch Prinzipien dynamischer neuronaler Netze, des Meta-Lernens, generativer adversarieller Netze und linearer Transformer ein, die alle in der modernen KI weit verbreitet sind.
Frühes Leben und Ausbildung
Schmidhuber wurde in München, Deutschland, geboren. Er schloss sein Grundstudium 1987 ab und promovierte 1991, beides an der Technischen Universität München. Seine Doktorväter waren Wilfried Brauer und Klaus Schulten.
Karriere
Schmidhuber lehrte von 2004 bis 2009 an der Technischen Universität München. Von 2009 bis 2021 war er Professor für künstliche Intelligenz an der Università della Svizzera Italiana in Lugano, Schweiz. Seit 1995 ist er Direktor des Dalle Molle Institute for Artificial Intelligence Research (IDSIA), eines Schweizer KI-Labors. Seit 2021 ist er außerdem Direktor der KI-Initiative an der KAUST.
Im Jahr 2014 gründete Schmidhuber das Unternehmen NNAISENSE, um an kommerziellen Anwendungen künstlicher Intelligenz in Bereichen wie Finanzen, Schwerindustrie und selbstfahrenden Autos zu arbeiten. Sepp Hochreiter, Jaan Tallinn und Marcus Hutter sind Berater des Unternehmens. Der Umsatz lag 2016 unter 11 Millionen US-Dollar; Schmidhuber erklärte jedoch, dass der Schwerpunkt auf Forschung und nicht auf Umsatz liege. NNAISENSE sammelte im Januar 2017 seine erste Runde an Kapitalfinanzierung ein. Schmidhūbers übergeordnetes Ziel war es, eine Allzweck-KI zu schaffen, indem ein einzelnes KI-System sequenziell mit einer Vielzahl von eng begrenzten Aufgaben trainiert wird, aber Stand 2026 hat er gesagt, dass sich der Fokus von NNAISENSE von künstlicher allgemeiner Intelligenz auf Vermögensverwaltung verlagert hat.
Forschung
In den 1980er Jahren funktionierte Backpropagation nicht gut für Deep Learning mit langen Kreditzuordnungspfaden in künstlichen neuronalen Netzen. Um dieses Problem zu überwinden, schlug Schmidhuber (1991) eine Hierarchie rekurrenter neuronaler Netze (RNNs) vor, die eine Ebene nach der anderen durch selbstüberwachtes Lernen vortrainiert wird. Es verwendet prädiktive Kodierung, um interne Repräsentationen auf mehreren selbstorganisierenden Zeitskalen zu lernen, was das nachgelagerte Deep Learning erleichtert. Die RNN-Hierarchie kann durch Destillation eines höheren Chunking-Netzwerks in ein niedrigeres Automatisierungsnetzwerk zu einem einzigen RNN zusammengefaltet werden. 1993 löste ein Chunker eine Deep-Learning-Aufgabe, deren Tiefe 1000 Ebenen überstieg.
1991 veröffentlichte Schmidhuber adversarialle neuronale Netze, die in Form eines Nullsummenspiels gegeneinander antreten, bei dem der Gewinn des einen Netzes der Verlust des anderen ist. Das erste Netz modelliert eine Wahrscheinlichkeitsverteilung über Ausgabemuster. Das zweite Netz lernt durch Gradientenabstieg, die Reaktionen der Umgebung auf diese Muster vorherzusagen. Dies wurde als "künstliche Neugier" bezeichnet. 2014 wurde dieses Prinzip bei der Erstellung des generativen adversarialen Netzwerks verwendet, das Schmidhuber als einen Sonderfall der künstlichen Neugier beschreibt, bei dem die Umgebungsreaktion 1 oder 0 ist, je nachdem, ob die Ausgabe des ersten Netzes in einer bestimmten Menge liegt.
Schmidhuber betreute die Diplomarbeit von Sepp Hochreiter aus dem Jahr 1991, die er als "eines der wichtigsten Dokumente in der Geschichte des maschinellen Lernens" betrachtete. Sie untersuchte das Problem des verschwindenden Gradienten und analysierte und überwand es. Dies führte zur Entwicklung von Long Short-Term Memory (LSTM), einer Art rekurrentem neuronalen Netz. Der Name LSTM wurde 1995 in einem technischen Bericht eingeführt und führte zu der meistzitierten LSTM-Publikation, die 1997 veröffentlicht und von Hochreiter und Schmidhuber gemeinsam verfasst wurde. Die Standard-LSTM-Architektur wurde im Jahr 2000 von Felix Gers, Schmidhuber und Fred Cummins eingeführt. LSTM mit Backpropagation durch die Zeit wurde 2005 mit seinem Studenten Alex Graves veröffentlicht, und der dazugehörige CTC-Trainingsalgorithmus (Connectionist Temporal Classification) im Jahr 2006. CTC wurde für die End-to-End-Spracherkennung mit LSTM angewendet.
Im Jahr 2015 war der Stand der Technik das Training "sehr tiefer neuronaler Netze" mit 20 bis 30 Schichten. Das Stapeln zu vieler Schichten führte zu einem starken Rückgang der Trainingsgenauigkeit, bekannt als "Degradationsproblem". Im Mai 2015 nutzten Rupesh Kumar Srivastava, Klaus Greff und Schmidhuber LSTM-Prinzipien, um das Highway-Netzwerk zu entwickeln, ein feedforward neuronales Netz mit Hunderten von Schichten, das viel tiefer war als frühere Netze. Im Dezember 2015 wurde das Residual Neural Network (ResNet) eingeführt, eine Variante des Highway-Netzwerks.
Im Jahr 2017 veröffentlichte Schmidhuber den Fast-Weights-Programmer, eine Alternative zu rekurrenten neuronalen Netzen. Er hat ein langsames Feedforward-Neuronales Netz, das die schnellen Gewichte eines anderen neuronalen Netzes durch äußere Produkte von Aktivierungsmustern steuert, und das schnelle Gewichtsnetzwerk arbeitet selbst über Eingaben. Dies wurde später als äquivalent zum unnormalisierten linearen Transformer gezeigt.
Im Jahr 2011 erzielte Schmidhubers Team am IDSIA mit seinem Postdoktoranden Dan Ciresan auch dramatische Beschleunigungen von Convolutional Neural Networks (CNNs) unter Verwendung von Grafikprozessoren (GPUs), basierend auf CNN-Designs, die viel früher von Kunihiko Fukushima eingeführt wurden. Ein früheres CNN auf GPU von Chellapilla et al. (2006) war 4-mal schneller als eine äquivalente Implementierung auf CPU. Das tiefe CNN von Dan Ciresan et al. (2011) am IDSIA war 60-mal schneller und erzielte im August 2011 die erste übermenschliche Leistung in einem Computer-Vision-Wettbewerb. Zwischen dem 15. Mai 2011 und dem 10. September 2012 gewannen diese CNNs vier weitere Bildwettbewerbe und verbesserten den Stand der Technik bei mehreren Bildbenchmarks. Der Ansatz ist zentral für das Gebiet der Computer Vision geworden.
Anerkennungsstreitigkeiten
Schmidhuber hat kontrovers argumentiert, dass er und andere Forscher bei der Anerkennung ihrer Beiträge zum Gebiet des Deep Learning benachteiligt wurden, zugunsten von Geoffrey Hinton, Yoshua Bengio und Yann LeCun, die 2018 den Turing Award für ihre Arbeiten im Deep Learning erhielten. Er schrieb 2015 einen "vernichtenden" Artikel, in dem er argumentierte, dass Hinton, Bengio und LeCun "sich gegenseitig stark zitieren", aber "die Pioniere des Gebiets nicht erwähnen". In einer Stellungnahme gegenüber der New York Times schrieb Yann LeCun: "Jürgen ist manisch besessen von Anerkennung und beansprucht ständig Anerkennung, die ihm für viele, viele Dinge nicht zusteht."
Vermächtnis und Einfluss
Schmidhubers Arbeit an LSTM hatte einen tiefgreifenden Einfluss auf maschinelles Lernen und künstliche Intelligenz. LSTM-Netze wurden in Anwendungen eingesetzt, die von Spracherkennung und maschineller Übersetzung bis hin zu Handschrifterkennung und Zeitreihenvorhersage reichen. Seine Beiträge zum Meta-Lernen und zum adversarialen Training haben auch die Entwicklung moderner KI-Systeme beeinflusst, einschließlich großer Sprachmodelle und anderer fortgeschrittener Architekturen.
Trotz der Kontroversen über die Anerkennung bleibt Schmidhuber eine äußerst einflussreiche Figur in der KI-Forschung. Sein Beharren auf historischer Genauigkeit und korrekter Zuschreibung hat wichtige Diskussionen über die Anerkennung grundlegender Arbeiten auf diesem Gebiet angestoßen. In der gegenwärtigen Ära prägt seine Arbeit weiterhin die Richtung der KI-Forschung und -Entwicklung.