Jürgen Schmidhuber ist ein deutscher Informatiker und ko-wissenschaftlicher Direktor des Dalle Molle Institute for Artificial Intelligence Research (IDSIA) in Lugano, Schweiz. Bekannt wurde er vor allem durch die Mitentwicklung des Long Short-Term Memory (LSTM)-Netzwerks mit seinem damaligen Studenten Sepp Hochreiter im Jahr 1997, einer der am weitesten verbreiteten Architekturen rekurrenter neuronaler Netze für zwei Jahrzehnte der Verarbeitung natürlicher Sprache und Sequenzmodellierung, bevor der Aufstieg des Transformers erfolgte.
Karriere und Forschung
Schmidhuber wurde 1963 in München geboren, promovierte 1991 an der Technischen Universität München und verbrachte den Großteil seiner Karriere am IDSIA, wo er lange vor dem Mainstream-Durchbruch des Deep Learnings im Jahr 2012 eines der einflussreichen europäischen Labore für diese Forschung aufbaute. Die Gruppe am IDSIA erzielte zudem Ende der 2000er Jahre frühe praktische Erfolge bei Wettbewerben zur Handschrift- und Bilderkennung unter Verwendung GPU-beschleunigter tiefer Netzwerke, Arbeiten, die dem bekannteren AlexNet-Ergebnis von 2012 vorausgingen und parallel dazu verliefen. Über LSTM hinaus entstanden in seinem Labor frühe Arbeiten zum Training rekurrenter Netzwerke, zu künstlicher Neugier und intrinsischer Motivation für Reinforcement-Learning-Agenten sowie zu Highway Networks, einem Vorläufer der Residualverbindungen, die später in sehr tiefen Bildklassifikatoren verwendet wurden.
Prioritätsstreitigkeiten
Schmidhuber ist fast ebenso bekannt dafür, öffentlich und wiederholt zu argumentieren, dass die Forschungsgemeinschaft seine und die Arbeiten seiner Mitarbeiter im Vergleich zu Forschern wie Geoffrey Hinton, Yann LeCun und Yoshua Bengio unterbewertet. Er hat behauptet, dass zentrale Ideen hinter Backpropagation, dem Generativen Adversarialen Netzwerk (unter Berufung auf eine frühere adversariale Neugier-Formulierung) sowie Elemente der Aufmerksamkeitsmechanismen, die in Transformatoren verwendet werden, durch frühere Arbeiten mit IDSIA-Beteiligung vorweggenommen wurden, die seiner Ansicht nach übersehen wurden, als Hinton, LeCun und Bengio 2018 den Turing Award erhielten. Diese Streitigkeiten, die in Blogbeiträgen, Konferenzbemerkungen und Interviews ausgetragen wurden, haben ihn zu einer kontroversen, aber genau beobachteten Figur in der Forschungsgemeinschaft der künstlichen Intelligenz gemacht, in der Fragen der Priorität in einem sich schnell bewegenden Feld häufig umstritten sind.
Spätere Unternehmungen
Schmidhuber war Mitbegründer von NNAISENSE, einem Unternehmen, das Methoden auf Basis rekurrenter Netzwerke und Reinforcement Learning auf industrielle und robotische Probleme anwendet, und hat weiterhin zu allgemeinen Lernsystemen und den theoretischen Grenzen der Intelligenz publiziert. Er vertritt die Ansicht, dass viele Ideen, die heute zentral für maschinelles Lernen und die moderne KI-Agenten-Forschung sind, weiter zurückreichen als allgemein anerkannt. Zudem hat er ausführlich über formale Theorien optimaler, ressourcenbeschränkter universeller Problemlöser geschrieben, Arbeiten, die weitgehend außerhalb des Mainstreams des industriellen Deep Learnings liegen, die er jedoch als einen prinzipientreueren langfristigen Weg zu allgemeiner künstlicher Intelligenz darstellt als alleinige inkrementelle Skalierung.