Geoffrey Everest Hinton (geboren am 6. Dezember 1947) ist ein britisch-kanadischer Informatiker, Kognitionswissenschaftler und Kognitionspsychologe. Er gilt weithin als führende Persönlichkeit auf dem Gebiet der künstlichen Intelligenz, insbesondere für seine grundlegenden Arbeiten zu künstlichen neuronalen Netzen, die ihm den Titel „Pate der KI“ einbrachten. Er ist emeritierter Universitätsprofessor an der University of Toronto. Von 2013 bis 2023 teilte er seine Zeit zwischen der Arbeit bei Google Brain und der Universität auf, bevor er im Mai 2023 öffentlich seinen Austritt bei Google bekannt gab und Bedenken über die Risiken der KI-Technologie äußerte. 2017 war er Mitbegründer und wurde zum leitenden wissenschaftlichen Berater des Vector Institute in Toronto.
Hintons Beiträge zur KI sind umfangreich und einflussreich. Mit David Rumelhart und Ronald J. Williams verfasste er ein vielzitiertes Papier, das 1986 veröffentlicht wurde und den Backpropagation-Algorithmus zum Training mehrschichtiger neuronaler Netze populär machte, obwohl sie nicht die ersten waren, die diesen Ansatz vorschlugen. Das Bilderkennungs-Neuronale Netz AlexNet, das in Zusammenarbeit mit seinen Studenten Alex Krizhevsky und Ilya Sutskever entworfen wurde, gewann 2012 die ImageNet-Herausforderung und war ein Durchbruch im Bereich des maschinellen Sehens. Er erhielt 2018 den Turing Award zusammen mit Yoshua Bengio und Yann LeCun für ihre Arbeiten zum Deep Learning und wurde zusammen mit John Hopfield mit dem Nobelpreis für Physik 2024 für „grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen“ ausgezeichnet.
Bildung
Hinton wurde am 6. Dezember 1947 in Wimbledon im Vereinigten Königreich geboren und besuchte das Clifton College in Bristol. 1967 immatrikulierte er sich als Undergraduate-Student am King's College in Cambridge. Nachdem er zwischen verschiedenen Fächern wie Naturwissenschaften, Kunstgeschichte und Philosophie wechselte, schloss er 1970 schließlich mit einem Bachelor of Arts in experimenteller Psychologie ab. Er verbrachte ein Jahr mit einer Tischlerlehre, bevor er zu seinem akademischen Studium zurückkehrte. Von 1972 bis 1975 setzte er sein Studium an der University of Edinburgh fort, wo ihm 1978 für seine Forschung unter der Leitung von Christopher Longuet-Higgins, der den symbolischen KI-Ansatz gegenüber dem neuronalen Netzansatz bevorzugte, ein PhD in künstlicher Intelligenz verliehen wurde.
Karriere
Nach seiner Promotion arbeitete Hinton zunächst an der University of Sussex und an der MRC Applied Psychology Unit. Nachdem er in Großbritannien Schwierigkeiten hatte, Fördermittel zu erhalten, arbeitete er in den USA an der University of California, San Diego, und an der Carnegie Mellon University. Er war Gründungsdirektor der Gatsby Charitable Foundation Computational Neuroscience Unit am University College London. Derzeit ist er emeritierter Universitätsprofessor in der Abteilung für Informatik an der University of Toronto, wo er seit 1987 tätig ist, mit Ausnahme seiner Zeit am University College London von 1998 bis 2001.
Nach seiner Ankunft in Kanada wurde Hinton 1987 am Canadian Institute for Advanced Research (CIFAR) als Fellow im ersten Forschungsprogramm von CIFAR, Artificial Intelligence, Robotics & Society, berufen. 2004 schlugen Hinton und Mitarbeiter erfolgreich die Einführung eines neuen Programms bei CIFAR vor, „Neural Computation and Adaptive Perception“ (NCAP), das heute „Learning in Machines & Brains“ heißt. Hinton leitete NCAP zehn Jahre lang. Zu den Mitgliedern des Programms gehören Yoshua Bengio und Yann LeCun, mit denen Hinton später den ACM A.M. Turing Award 2018 gewinnen sollte. Alle drei Turing-Preisträger sind weiterhin Mitglieder des CIFAR-Programms Learning in Machines & Brains.
Hinton unterrichtete 2012 einen kostenlosen Online-Kurs über Neuronale Netze auf der Bildungsplattform Coursera. 2012 gründete er zusammen mit seinen beiden Doktoranden Alex Krizhevsky und Ilya Sutskever an der Abteilung für Informatik der University of Toronto das Unternehmen DNNresearch Inc. Im März 2013 übernahm Google DNNresearch Inc. für 44 Millionen US-Dollar, und Hinton plante, „seine Zeit zwischen seiner universitären Forschung und seiner Arbeit bei Google aufzuteilen“.
Im Mai 2023 gab Hinton öffentlich seinen Rücktritt von Google bekannt. Er erklärte seine Entscheidung damit, dass er frei über die Risiken der KI sprechen wolle, und fügte hinzu, dass ein Teil von ihm nun seine Lebensarbeit bereue.
Zu den bemerkenswerten ehemaligen Doktoranden und Postdoktoranden aus seiner Gruppe gehören Peter Dayan, Sam Roweis, Max Welling, Richard Zemel, Brendan Frey, Radford M. Neal, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, Yann LeCun, Alex Graves, Zoubin Ghahramani und Peter Fitzhugh Brown.
Forschung
Hintons Forschung befasst sich mit der Verwendung neuronaler Netze für maschinelles Lernen, Gedächtnis, Wahrnehmung und Symbolverarbeitung. Er hat mehr als 200 begutachtete Veröffentlichungen geschrieben oder mitgeschrieben.
In den 1980er Jahren war Hinton Teil der Gruppe „Parallel Distributed Processing“ an der Carnegie Mellon University, zu der namhafte Wissenschaftler wie Terrence Sejnowski, Francis Crick, David Rumelhart und James McClelland gehörten. Diese Gruppe bevorzugte den konnektionistischen Ansatz während des KI-Winters. Ihre Ergebnisse wurden in einem zweibändigen Werk veröffentlicht. Der von Hinton vertretene konnektionistische Ansatz legt nahe, dass Fähigkeiten in Bereichen wie Logik und Grammatik in die Parameter neuronaler Netze kodiert werden können und dass neuronale Netze sie aus Daten lernen können. Symbolisten auf der anderen Seite plädierten dafür, Wissen und Regeln explizit in KI-Systeme zu programmieren.
1985 erfand Hinton zusammen mit David Ackley und Terry Sejnowski Boltzmann-Maschinen. Weitere Beiträge zur Erforschung neuronaler Netze umfassen verteilte Repräsentationen, zeitverzögerte neuronale Netze, Expertenmischungen, Helmholtz-Maschinen und Produkt von Experten. Eine zugängliche Einführung in Geoffrey Hintons Forschung findet sich in seinen Artikeln in Scientific American vom September 1992 und Oktober 1993. 1995 schlugen Hinton und Kollegen den Wake-Sleep-Algorithmus vor, der ein neuronales Netz mit getrennten Pfaden für Erkennung und Generierung umfasst, das mit abwechselnden „Wach“- und „Schlaf“-Phasen trainiert wird. 2007 verfasste Hinton ein unüberwachtes Lernpapier mit dem Titel „Unsupervised learning of image transformations“. 2008 entwickelte er zusammen mit Laurens van der Maaten die Visualisierungsmethode t-SNE.
Während Hinton Postdoktorand an der UC San Diego war, wandten David Rumelhart, Hinton und Ronald J. Williams den Backpropagation-Algorithmus auf mehrschichtige neuronale Netze an. Ihre Experimente zeigten, dass solche Netze nützliche interne Repräsentationen lernen können. Diese 1986 veröffentlichte Arbeit war maßgeblich daran beteiligt, das Interesse an neuronalen Netzen wiederzubeleben und legte das Fundament für modernes Deep Learning.
AlexNet und der Durchbruch des Deep Learning
2012 entwarfen Hinton und seine Studenten Alex Krizhevsky und Ilya Sutskever AlexNet, ein tiefes konvolutionales neuronales Netz, das eine dramatische Verbesserung der Bildklassifizierungsgenauigkeit in der ImageNet Large Scale Visual Recognition Challenge erzielte. Der Erfolg von AlexNet demonstrierte die Leistungsfähigkeit des Deep Learning auf großen Datensätzen und GPU-beschleunigtem Training und löste die schnelle Übernahme von Deep Learning im gesamten Bereich des maschinellen Sehens und anderen Feldern aus. Dieser Durchbruch wird oft als Wendepunkt in der Geschichte der KI betrachtet und führte zur weit verbreiteten Nutzung tiefer neuronaler Netze in Industrie und Wissenschaft.
Auszeichnungen und Ehrungen
Hinton hat im Laufe seiner Karriere zahlreiche Auszeichnungen und Ehrungen erhalten. 2018 wurde ihm gemeinsam mit Yoshua Bengio und Yann LeCun der ACM A.M. Turing Award verliehen, der oft als „Nobelpreis der Informatik“ bezeichnet wird, für ihre Beiträge zum Deep Learning. 2024 wurde ihm zusammen mit John Hopfield der Nobelpreis für Physik für grundlegende Entdeckungen und Erfindungen verliehen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen. Er ist außerdem Fellow der Royal Society und Companion of the Order of Canada, neben anderen Auszeichnungen.
Ansichten zu KI-Risiken
Im Mai 2023 kündigte Hinton seinen Rücktritt von Google an, um „frei über die Risiken der KI sprechen“ zu können. Er hat Bedenken hinsichtlich des vorsätzlichen Missbrauchs durch böswillige Akteure, technologischer Arbeitslosigkeit und existenzieller Risiken durch künstliche allgemeine Intelligenz geäußert. Er stellte fest, dass die Etablierung von Sicherheitsrichtlinien die Zusammenarbeit zwischen denjenigen erfordern wird, die im Bereich der KI-Nutzung konkurrieren, um die schlimmsten Ergebnisse zu vermeiden. Nach Erhalt des Nobelpreises forderte er dringende Forschung zur KI-Sicherheit, um herauszufinden, wie KI-Systeme kontrolliert werden können, die intelligenter als Menschen sind.
Vermächtnis
Geoffrey Hintons Arbeit hat einen tiefgreifenden Einfluss auf das Gebiet der künstlichen Intelligenz gehabt. Seine bahnbrechende Forschung zu neuronalen Netzen und Deep Learning hat Durchbrüche in der Bilderkennung, Spracherkennung, Verarbeitung natürlicher Sprache und vielen anderen Anwendungen ermöglicht. Er gilt weithin als einer der einflussreichsten Informatiker seiner Generation, und seine Studenten und Mitarbeiter haben weltweit bedeutende KI-Forschungsbemühungen übernommen. Sein Vermächtnis liegt nicht nur in den Algorithmen und Modellen, die er entwickelt hat, sondern auch in der Generation von Forschern, die er ausgebildet hat.