Nick Bostrom ist ein schwedischer Philosoph, dessen Arbeit über langfristige technologische Risiken, insbesondere sein Buch „Superintelligenz: Szenarien einer kommenden Revolution“ aus dem Jahr 2014, dazu beitrug, existenzielle Risiken durch KI als Thema ernsthafter akademischer und öffentlicher Diskussion zu etablieren.
Bostrom hatte eine Professur an der Universität Oxford inne, wo er 2005 das Future of Humanity Institute (FHI) gründete und leitete, ein interdisziplinäres Forschungszentrum, das groß angelegte Risiken für die langfristige Zukunft der Menschheit untersuchte, darunter Risiken durch fortgeschrittene KI, Biotechnologie und andere aufkommende Technologien, sowie breitere Fragen der Philosophie und Wahrscheinlichkeitstheorie. Das FHI war fast zwei Jahrzehnte lang tätig, bevor es im April 2024 aufgrund administrativer Spannungen mit der Universität geschlossen wurde, obwohl es zu einem der einflussreichsten Zentren für frühe AI safety- und KI-Ausrichtung-Forschung geworden war.
Superintelligenz und Kernkonzepte
Bostroms Buch „Superintelligenz“ aus dem Jahr 2014 legte ein systematisches Argument dar, dass ein KI-System, das in allen kognitiv relevanten Bereichen deutlich leistungsfähiger ist als Menschen, eine Superintelligenz, schwerwiegende Risiken darstellen könnte, wenn seine Ziele nicht sorgfältig mit menschlichen Werten ausgerichtet wären, selbst wenn kein einzelner Schritt in seiner Entwicklung offensichtliche Bosheit oder Fehler beinhaltete. Das Buch popularisierte mehrere Konzepte, die bis heute zentral für den Diskurs über KI-Sicherheit sind: die Orthogonalitätsthese, die Idee, dass das Intelligenzniveau eines KI-Systems unabhängig von seinen Endzielen ist, was bedeutet, dass ein hochleistungsfähiges System beliebige oder triviale Ziele verfolgen könnte; instrumentelle Konvergenz, die Beobachtung, dass eine breite Palette von Zielen eine fortgeschrittene KI dazu führen würde, ähnliche Zwischenziele wie Selbsterhaltung und Ressourcenerwerb zu verfolgen; und den Büroklammer-Maximierer, ein Gedankenexperiment, das veranschaulicht, wie ein System, das ein scheinbar harmloses Ziel einseitig optimiert, katastrophale Ergebnisse erzeugen könnte. Das Buch wurde von Persönlichkeiten wie Elon Musk zitiert, die ernsthafte Bedenken über die Entwicklung der KI äußerten, und es prägte maßgeblich das Vokabular, das später in Debatten über AI safety bei großen Labors wie OpenAI und Anthropic verwendet wurde.
Simulationsargument und andere Arbeiten
Vor „Superintelligenz“ war Bostrom für das Simulationsargument von 2003 bekannt, das vorschlug, dass mindestens eine von drei Aussagen wahrscheinlich wahr ist: dass Zivilisationen fast immer aussterben, bevor sie ein Stadium erreichen, das detaillierte Vorfahrensimulationen ausführen kann, dass solche Zivilisationen sich entscheiden würden, nicht viele solcher Simulationen auszuführen, oder dass wir fast sicher in einer Simulation leben. Das Argument, obwohl nicht primär über KI, stützte sich auf ähnliche Überlegungen zu fortgeschrittener Zukunftstechnologie und wurde weit über die akademische Philosophie hinaus diskutiert.
Einfluss und Kritik
Bostroms Arbeit inspirierte die Gründung anderer auf KI-Sicherheit fokussierter Organisationen, darunter das Machine Intelligence Research Institute und später das Future of Life Institute, und beeinflusste Forscher wie Eliezer Yudkowsky, Max Tegmark und Dan Hendrycks, die nach der Schließung des FHI weiterhin an langfristigen KI-Risiken arbeiteten. Kritiker haben argumentiert, dass Bostroms Szenarien auf spekulativen, schwer zu widerlegenden Annahmen über zukünftige KI-Fähigkeiten beruhen und dass die Fokussierung auf spekulative langfristige Risiken von unmittelbareren, dokumentierten Schäden durch eingesetzte KI-Systeme ablenken kann, eine Spannung, die im breiteren AI safety-Feld zwischen Kurzzeit- und Langzeit-Risikorahmen fortbesteht.