Das Future of Humanity Institute (FHI) war ein multidisziplinäres Forschungszentrum an der Universität Oxford, das von 2005 bis 2024 betrieben wurde. Es konzentrierte sich auf Fragen zur langfristigen Zukunft der Menschheit, mit besonderem Schwerpunkt auf existenziellen Risiken und der Entwicklung fortgeschrittener künstlicher Intelligenz. Das Institut wurde vom Philosophen Nick Bostrom gegründet und zielte darauf ab, strenge wissenschaftliche Methoden auf globale Herausforderungen anzuwenden, die das Überleben oder das langfristige Potenzial der menschlichen Zivilisation bedrohen könnten.
Das FHI war ein Pionier im akademischen Bereich der Erforschung existenzieller Risiken. Seine Arbeit kombinierte Philosophie, Mathematik und Informatik, um potenzielle Gefahren durch aufkommende Technologien zu analysieren, darunter KI, Biotechnologie und andere Bereiche. Das Institut trug auch zur Entwicklung der KI-Sicherheitsforschung bei, bevor dieses Feld breit etabliert wurde.
Gründung und Entwicklung
Das FHI wurde 2005 an der Universität Oxford gegründet, zunächst als Teil der James Martin 21st Century School. Später wurde es in die Philosophische Fakultät der Universität und die Oxford Martin School integriert. Nick Bostrom war sein Gründungsdirektor, und das Institut wuchs zu einer multidisziplinären Gruppe von Forschern aus Bereichen wie Philosophie, Informatik und Politikwissenschaft heran. Über fast zwei Jahrzehnte hinweg erhielt das FHI Fördermittel von Organisationen wie dem Future of Life Institute und dem Leverhulme Trust, unter anderem.
Das Institut war bekannt für seine frühe und anhaltende Aufmerksamkeit für existenzielle Risiken durch KI-Systeme, viele Jahre bevor Themen wie transformerbasierte Sprachmodelle und tiefe neuronale Netze in der Wissenschaft prominent wurden. Seine Forscher gehörten zu den ersten, die argumentierten, dass die Gewährleistung vorteilhafter KI-Ergebnisse proaktive Sicherheitsforschung und sorgfältige Governance erfordert.
Wichtige Beiträge und Forschungsbereiche
Das FHI veröffentlichte einflussreiche Arbeiten zu KI-Risiken, darunter Papiere über den Fluch des Unilateralisten, KI-Sicherheit durch Debatte und das Konzept einer "Intelligenzexplosion". Nick Bostroms Buch von 2014, Superintelligence: Paths, Dangers, Strategies, entstand aus Forschungsarbeiten am Institut und wurde im Silicon Valley und bei politischen Entscheidungsträgern weithin gelesen.
Das Institut untersuchte auch andere existenzielle Risiken wie Atomkrieg, Pandemien und den Missbrauch von maschinellen Lerntechnologien. FHI-Forscher waren maßgeblich an der Formulierung der Forschungsagenda zum "existenziellen Risiko durch KI" beteiligt, und einige wechselten später zu führenden KI-Organisationen wie OpenAI, Anthropic und Google DeepMind, wo sie Sicherheitsprinzipien auf reale Systeme anwendeten.
Bekannte Personen und Partnerschaften
Das FHI arbeitete mit verschiedenen Akademikern und Institutionen weltweit zusammen. Zu seinen Forschern gehörten der Philosoph Toby Ord, der zur Bewegung des effektiven Altruismus beitrug und über das Weltuntergangsargument schrieb; die Ökonomin und KI-Sicherheitsforscherin Kerstin Katherine Deitch; sowie der Informatiker Stuart Russell, unter anderem. Diese Kooperationen halfen sicherzustellen, dass die Ideen des FHI einem Peer-Review unterzogen und in den breiteren wissenschaftlichen Diskurs integriert wurden.
Bemerkenswerterweise arbeitete das FHI mit binären interdisziplinären Zentren wie dem Centre for the Study of Existential on Future of Humanity, dem Future of Life Institute und dem Leverhulme Centre for the Future of Intelligence zusammen. Diese Partnerschaften erleichterten Datenerhebung, Modellierung und entscheidungstheoretische Ansätze zur Risikominderung.
Schließung und Vermächtnis
Das Future of Humanity Institute stellte seinen Betrieb im Jahr 2024 ein, wobei die Schließung von Nick Bostrom in seiner akademischen E-Mail angekündigt wurde. Die genauen Gründe für die Schließung wurden nicht vollständig offengelegt, obwohl vermutet wurde, dass die fortlaufende Finanzierung solcher interdisziplinärer Einheiten nach fast zwanzig Jahren Herausforderungen darstellte. Die Schließung des Instituts löscht seine Wirkung nicht aus; seine Forschung zu existenziellen Risiken und sicherer KI beeinflusst weiterhin sowohl akademische als auch industrielle Praktiken.
Heute ist das Konzept des existenziellen Risikos ein anerkanntes Studienfeld an mehreren Universitäten, und viele ehemalige Mitarbeiter des FHI setzen ihre Forschungsrollen in sicherheitsorientierten Organisationen fort. Der Schwerpunkt des Instituts auf zukunftsorientierter, empirischer Analyse wird allgemein dafür anerkannt, die Agenda der KI-Sicherheitsforschung geprägt zu haben, die dem starken Aufstieg großer Sprachmodelle vorausging.
Externe Wahrnehmung und Kritik
Einige Kritiker haben infrage gestellt, ob der Fokus des FHI auf transformative KI unmittelbarere gesellschaftliche Herausforderungen vernachlässigt, während andere einige seiner Behauptungen über die Wahrscheinlichkeit des Aussterbens bestritten haben. Der allgemeine Tenor bleibt jedoch, dass das FHI dazu beigetragen hat, die Idee zu legitimieren, dass katastrophale KI-Risiken einer ernsthaften akademischen Untersuchung wert sind, und seine Beiträge zu KI-Ethik und -Politik werden allgemein als entscheidend angesehen.
Referenzen
- Bostrom, Nick. 2019. 'Existential risk: theory, field, and challenges'. Im Dialog mit Bünger et al.
- Future of Humanity Institute (offizielle Seite in Oxford, archiviert).
- Schließungs-E-Mail von Nick Bostrom, Februar 2024.