Geoffrey Everest Hinton (geboren am 6. Dezember 1947) ist ein britisch-kanadischer Informatiker, Kognitionswissenschaftler und Kognitionspsychologe, der für seine grundlegenden Arbeiten zu künstlichen neuronalen Netzen bekannt ist, die ihm den Titel „Pate der KI" einbrachten. Er ist emeritierter Universitätsprofessor an der University of Toronto, wo er seit den späten 1980er Jahren eine zentrale Figur in der Entwicklung des Deep Learnings ist.
Zu Hintons Beiträgen gehören die Mitautorenschaft des wegweisenden Papers von 1986, das die Backpropagation für das Training mehrschichtiger neuronaler Netze populär machte, sowie das Design von AlexNet, das 2012 die ImageNet-Herausforderung gewann und die Computer Vision revolutionierte. Er teilte sich 2018 den Turing Award mit Yoshua Bengio und Yann LeCun für ihre Arbeiten zum Deep Learning und erhielt 2024 zusammen mit John Hopfield den Nobelpreis für Physik für ihre Entdeckungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen.
Bildung
Hinton wurde in Wimbledon, England, geboren und besuchte das Clifton College in Bristol, bevor er 1967 am King's College in Cambridge immatrikulierte. Nach Versuchen in verschiedenen Bereichen, darunter Naturwissenschaften und Kunstgeschichte, schloss er 1970 mit einem Bachelor of Arts in experimenteller Psychologie ab. Anschließend arbeitete er als Schreinerlehrling, kehrte aber in die Wissenschaft zurück und studierte von 1972 bis 1975 an der University of Edinburgh, wo er 1978 unter der Aufsicht von Christopher Longuet-Higgins einen PhD in künstlicher Intelligenz erhielt. Sein frühes Interesse an neuronalen Netzen wich von der damals vorherrschenden symbolischen KI-Schule ab.
Karriere und akademische Rollen
Nach Abschluss seiner Promotion hatte Hinton Positionen an der University of Sussex und der MRC Applied Psychology Unit in Großbritannien inne, hatte jedoch Schwierigkeiten, Forschungsgelder zu sichern. Er zog in die Vereinigten Staaten, arbeitete an der University of California, San Diego, und später an der Carnegie Mellon University in Pittsburgh. 1987 wechselte er an die University of Toronto, wo er seitdem geblieben ist, mit einer Unterbrechung von 1998 bis 2001, als er Gründungsdirektor der Gatsby Charitable Foundation Computational Neuroscience Unit am University College London war.
An der University of Toronto wurde Hinton 1987 zum Fellow des Canadian Institute for Advanced Research (CIFAR) ernannt, und 2004 half er, ein CIFAR-Programm zu Neural Computation and Adaptive Perception zu starten, das später in Learning in Machines & Brains umbenannt wurde und das er zehn Jahre lang leitete. Zu den Mitgliedern dieses Programms gehörten Yoshua Bengio und Yann LeCun, mit denen er später den Turing Award teilte. 2012 unterrichtete Hinton einen kostenlosen Online-Kurs über neuronale Netze über die Coursera-Plattform und führte Hunderttausende Menschen in das Deep Learning ein. Im selben Jahr gründete er zusammen mit seinen Doktoranden Alex Krizhevsky und Ilya Sutskever die Firma DNNresearch Inc.
Das Unternehmen wurde im März 2013 für 44 Millionen US-Dollar von Google (später Google Brain) übernommen, und Hinton teilte daraufhin seine Zeit zwischen dem Unternehmen und seinen akademischen Pflichten auf. Im Mai 2023 trat er öffentlich von Google zurück und erklärte, er wolle frei über die Risiken der KI sprechen können und bereue sein Lebenswerk teilweise. Er war auch Mitbegründer und Chefwissenschaftlicher Berater des Vector Institute in Toronto im Jahr 2017, eine Position, die er nach seinem Rückzug aus der aktiven Forschung fortsetzte. Hinton ist außerdem emeritierter Universitätsprofessor in der Abteilung für Informatik, mit Doktoranden und Postdoktoranden wie Peter Dayan, Sam Roweis, Max Welling, Richard Zemel, Brendan Frey, Radford Neal, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, Yann LeCun und Zoubin Ghahramani.
Forschung zu neuronalen Netzen
Hintons Forschung befasst sich hauptsächlich mit der Verwendung von neuronalen Netzen für maschinelles Lernen, Gedächtnis, Wahrnehmung und Symbolverarbeitung. Er hat mehr als 200 begutachtete Veröffentlichungen verfasst oder mitverfasst, und seine Arbeiten umfassen verteilte Repräsentationen, zeitverzögerte neuronale Netze, Expertenmischungen, Helmholtz-Maschinen und Produkte von Experten.
In den 1980er Jahren war Hinton Mitglied der Parallel Distributed Processing Gruppe an der Carnegie Mellon University, zu der auch Terrence Sejnowski, Francis Crick, David Rumelhart und James McClelland gehörten. Diese Gruppe setzte sich für den Konnektionismus ein, die Idee, dass höhere Kognition aus Netzwerken einfacher Einheiten entstehen könnte, in einer Zeit, in der das KI-Feld weitgehend auf symbolische KI ausgerichtet war, einen Ansatz, der Regeln und Wissen explizit programmierte.
Ein wichtiger technologischer Beitrag kam 1985, als Hinton zusammen mit David Ackley und Terry Sejnowski die Boltzmann-Maschine miterfand. Dieses stochastische Netzwerk lernte, Muster über ein latentes Wahrscheinlichkeitsmodell zu repräsentieren und zu generieren, und legte den Grundstein für spätere energiebasierte Modelle. 1995 schlug Hinton mit seinen Studenten und Kollegen den Wake-Sleep-Algorithmus vor, der ein Erkennungsnetzwerk und ein generatives Netzwerk mit abwechselnden „Wach"- und „Schlaf"-Phasen trainiert. Diese Arbeit trug zu späteren Fortschritten in mehreren Lernansätzen bei.
Hinton entwickelte auch Visualisierungstechniken, um hochdimensionale Daten zu verstehen. 2008 führte er mit Laurens van der Maaten t-SNE ein, eine Methode, die Daten von vielen Dimensionen auf zwei oder drei reduziert, um sie visuell zu inspizieren, und die weit über neuronale Netze hinaus verwendet wird. Er war auch Mitautor eines Papers von 2007 über unüberwachtes Lernen von Bildtransformationen, das das Werkzeugset für das Lernen aus Daten ohne Labels weiter bereicherte.
AlexNet und der Deep-Learning-Durchbruch
Hintons Bekanntheit stieg 2012 stark an, als AlexNet, ein konvolutionäres neuronales Netzwerk, das mit seinen Studenten Alex Krizhevsky und Ilya Sutskever entworfen wurde, die ImageNet Large Scale Visual Recognition Challenge entscheidend gewann. Das Netzwerk erreichte damals eine Top-5-Fehlerrate von 15,3 Prozent, weit besser als frühere Methoden, und zeigte dramatisch die Leistungsfähigkeit tiefer neuronaler Netze. Dieser Durchbruch löste eine Renaissance des Deep Learnings in der Computer Vision aus und war ein Schlüsselfaktor für die aktuelle Welle von KI-Fortschritten.
Vor AlexNet galten neuronale Netze als begrenzt und wurden oft auf kleinen Datensätzen trainiert. Der Erfolg kombinierte große Datenaugmentation, gleichgerichtete lineare Einheiten und effizientes GPU-Training, alles Dinge, die Hinton und seine Kollegen seit Jahren verfolgt hatten. Die Anerkennung der Leistung von AlexNet wird weithin als Hauptmotivator dafür gesehen, dass neue Unternehmen und Forschungslabore wie Googles KI-Bemühungen ihre Investitionen in Deep learning verstärkten.
Öffentlichkeitsarbeit und Kooperationen
Hinton hat konsequent daran gearbeitet, seine Ideen einer breiteren Öffentlichkeit zu vermitteln, und veröffentlichte Artikel über künstliche Intelligenz in Magazinen wie Scientific American im September 1992 und Oktober 1993. Er unterrichtete auch den MOOC von 2012 über das Lernen des echten Wissens, der half, eine Generation von Deep-Learning-Forschern hervorzubringen. Sein Wechsel zu Google im Jahr 2013, angekündigt als Teilzeitstelle, um „meine Zeit zwischen Universitätsforschung und Arbeit bei Google aufzuteilen", stärkte weiter die Verbindung zur Industrie. Nach der Gründung von DNNresearch mit Sutskever und Krizhevsky trat er in das Ökosystem der KI-Unternehmen ein, am bemerkenswertesten war später, dass seine Gruppe mit OpenAI frühen Bemühungen wie den Unterschieden bei Sprachmodellen von 2020 zusammenarbeitete, aber Hinton selbst war nicht bei OpenAI. Er hat nun Mitarbeiter an verschiedenen Institutionen.
Auszeichnungen und Anerkennung
Hintons grundlegende Entdeckungen brachten ihm die höchsten beruflichen Auszeichnungen seines Fachgebiets ein. 2018 erhielt er den ACM AM Turing Award, oft als Nobelpreis der Informatik bezeichnet, gemeinsam mit Yoshua Bengio und Yann LeCun, in Anerkennung konzeptioneller und technischer Durchbrüche, die die Vorstellung bewiesen, dass große neuronale Netze Intelligenz hervorbringen können. Sie werden oft als „Paten des Deep Learnings" bezeichnet.
2024 wurde Hinton zusammen mit John Hopfield der Nobelpreis für Physik verliehen, „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen". Die Schwedische Akademie hob ihre Arbeiten zur statistischen Physik und zum assoziativen Gedächtnis hervor, die die wichtigsten Grundlagen für den aktuellen Boom in der Artificial intelligence legten. Hinton, der auch theoretischer Physiker durch gemeinsame Ausbildung ist, nahm den Preis an und reflektierte über die Ironie, dass ein Feld, das einst als marginal galt, zentral für die moderne Physik wurde.
KI-Sicherheit und Interessenvertretung
Nach seinem Ausscheiden bei Google im Jahr 2023 wurde Hinton eine prominente Stimme zu den Risiken der KI. Er hat erklärt, dass er gegangen sei, um frei über KI-Sicherheit sprechen zu können. Er sagt, er mache sich Sorgen um Large language models und andere Systeme, die bald auf einem Niveau menschlicher Fähigkeiten funktionieren könnten, und dass sie bestenfalls von böswilligen Akteuren missbraucht oder schlimmstenfalls existenzielle Risiken darstellen könnten. Er hält die Transformation von Artificial general intelligence nicht mehr für unmöglich, sondern für stark beschleunigend.
Hinton hat gefordert, Sicherheitsrichtlinien durch verbindliche Zusammenarbeit zwischen KI-Unternehmen und Nationen zu etablieren und durchzusetzen. Er hat erklärt, dass Selbstregulierung der KI unzureichend sei, und hat speziell hervorgehoben, dass Unternehmen, die Large language models bauen, durch Gewinnanreize „versklavt" sein könnten, und dass Nationen in einem Wettlauf konkurrieren könnten, der für die Sicherheit vermeidbar wäre. Nach Erhalt des Nobelpreises schlug er dringende Forschung zur KI-Sicherheit vor, um Systeme zu entwerfen, die die Kontrolle über solche gewährleisten, die intelligenter als Menschen sind. Seine Botschaft erhielt wissenschaftliche Kritik, findet aber Anklang bei der Idee einer KI-Gemeinschaft, die sich zunehmend um Kontrolle sorgt.
Persönliches Leben und Vermächtnis
Hinton wurde in Wimbledon, London, in eine intellektuelle Familie geboren. Sein Hintergrund umfasst viele Wissenschaftler, und sein Urgroßvater Claude war ein Logiker. Er emigrierte 1987 nach Kanada, wurde kanadischer Staatsbürger und lebt heute in Toronto. Er hat Eigenheiten wie sein berühmtes individuell angepasstes Hacken und hat keinen Mangel an Erfolg gehabt. Seine frühen visionären Beiträge, die in den 1980er Jahren oft verspottet wurden, erwiesen sich später als weitsichtig: Es\n
Bemerkenswerte ehemalige Doktoranden und Postdoktoranden von Hinton umfassen Peter Stimson, Sam Read, Max Welles, Richard Urban Bedding, Radford, Y. Why, Ruslan, Ilya Sutskever (Mitbegründer von OpenAI, Schöpfer des Deep learning at)\n
Hinton wurde als grundlegende Figur anerkannt, die sicherstellt, dass sein Lebenswerk Bestand hat. Er hat ethische Maßnahmen gefordert, sieht aber auch weiterhin den Wert in der KI-„Ära der intellektuellen Transformation".