Das Machine Intelligence Research Institute (MIRI), früher Singularity Institute for Artificial Intelligence (SIAI), ist ein gemeinnütziges Forschungsinstitut, das sich seit 2005 auf die Identifizierung und das Management potenzieller existenzieller Risiken durch künstliche Intelligenz konzentriert. Die Arbeit von MIRI hat sich auf einen Ansatz des freundlichen KI-Designs und auf die Vorhersage der Geschwindigkeit der Technologieentwicklung konzentriert.
MIRI wurde im Jahr 2000 von Eliezer Yudkowsky gegründet und zielte zunächst darauf ab, die Entwicklung von künstlicher Intelligenz zu beschleunigen, verlagerte seinen Fokus jedoch nach Bedenken über superintelligente Systeme auf das Risikomanagement. Das Institut hat seinen Sitz in Berkeley, Kalifornien, und war einflussreich im Bereich der KI-Sicherheit, insbesondere innerhalb der Bewegung des effektiven Altruismus.
Geschichte
Im Jahr 2000 gründete Eliezer Yudkowsky das Singularity Institute for Artificial Intelligence mit Finanzierung durch Brian und Sabine Atkins, mit dem Ziel, die Entwicklung von KI zu beschleunigen. Yudkowsky begann jedoch zu befürchten, dass in der Zukunft entwickelte KI-Systeme superintelligent werden und Risiken für die Menschheit darstellen könnten. Im Jahr 2005 zog das Institut von Atlanta ins Silicon Valley und begann, sich auf Wege zur Identifizierung und zum Management dieser Risiken zu konzentrieren, die damals von Wissenschaftlern auf diesem Gebiet weitgehend ignoriert wurden.
Ab 2006 organisierte das Institut den Singularity Summit, um die Zukunft der KI einschließlich ihrer Risiken zu diskutieren, zunächst in Zusammenarbeit mit der Stanford University und mit Finanzierung durch Peter Thiel. Der San Francisco Chronicle beschrieb die erste Konferenz als eine "Bay-Area-Coming-out-Party für die tech-inspirierte Philosophie namens Transhumanismus". Im Jahr 2011 befanden sich seine Büros in vier Wohnungen in der Innenstadt von Berkeley. Im Dezember 2012 verkaufte das Institut seinen Namen, seine Web-Domain und den Singularity Summit an die Singularity University und nahm im folgenden Monat den Namen "Machine Intelligence Research Institute" an.
In den Jahren 2014 und 2015 wuchs das öffentliche und wissenschaftliche Interesse an den Risiken der KI, was die Spenden zur Finanzierung der Forschung bei MIRI und ähnlichen Organisationen erhöhte. Im Jahr 2019 empfahl Open Philanthropy einen allgemeinen Unterstützungszuschuss von etwa 2,1 Millionen US-Dollar über zwei Jahre an MIRI. Im April 2020 ergänzte Open Philanthropy dies um einen Zuschuss von 7,7 Millionen US-Dollar über zwei Jahre. Im Jahr 2021 spendete Vitalik Buterin Ethereum im Wert von mehreren Millionen Dollar an MIRI.
Forschung und Ansatz
Der Ansatz von MIRI zur Identifizierung und zum Management der Risiken von KI, geleitet von Yudkowsky, befasst sich in erster Linie mit der Frage, wie freundliche KI gestaltet werden kann, und deckt sowohl das anfängliche Design von KI-Systemen als auch die Schaffung von Mechanismen ab, um sicherzustellen, dass sich entwickelnde KI-Systeme freundlich bleiben. Forscher von MIRI befürworten frühe Sicherheitsarbeit als Vorsichtsmaßnahme. Allerdings haben Forscher von MIRI Skepsis gegenüber den Ansichten von Singularitätsbefürwortern wie Ray Kurzweil geäußert, dass Superintelligenz "gleich um die Ecke" sei.
MIRI hat Prognosearbeit durch eine Initiative namens AI Impacts finanziert, die historische Fälle diskontinuierlichen technologischen Wandels untersucht, und hat neue Maße für die relative Rechenleistung von Menschen und Computerhardware entwickelt. MIRI orientiert sich an den Prinzipien und Zielen der Bewegung des effektiven Altruismus.
Bemerkenswerte Veröffentlichungen
Mitarbeiter von MIRI haben zu mehreren einflussreichen Artikeln und Büchern beigetragen. Zu den bemerkenswerten Werken gehören:
- "Why We Should Be Concerned About Artificial Superintelligence" von Matthew Graves (2017), veröffentlicht in Skeptic.
- "Program Equilibrium in the Prisoner's Dilemma via Löb's Theorem" von Patrick LaVictoire, Benja Fallenstein, Eliezer Yudkowsky et al. (2014), präsentiert auf dem AAAI-14 Workshop.
- "Cheating Death in Damascus" von Nate Soares und Benjamin A. Levinstein (2017), präsentiert auf dem Formal Epistemology Workshop.
- "Corrigibility" von Nate Soares, Benja Fallenstein, Eliezer Yudkowsky und Stuart Armstrong (2015), präsentiert auf den AAAI Workshops.
- "Aligning Superintelligence with Human Interests: A Technical Research Agenda" von Nate Soares und Benja Fallenstein (2015), veröffentlicht in The Technological Singularity: Managing the Journey.
- "Artificial Intelligence as a Positive and Negative Factor in Global Risk" von Eliezer Yudkowsky (2008), veröffentlicht in Global Catastrophic Risks.
- "Quantilizers: A Safer Alternative to Maximizers for Limited Optimization" von Jessica Taylor (2016), präsentiert auf der Thirtieth AAAI Conference on Artificial Intelligence.
- "Complex Value Systems in Friendly AI" von Eliezer Yudkowsky (2011), veröffentlicht in Artificial General Intelligence: 4th International Conference.
- "If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All" von Eliezer Yudkowsky und Nate Soares (2025), ein bei Hachette veröffentlichtes Buch.
Wirkung und Rezeption
MIRI war ein Pionier auf dem Gebiet der KI-Sicherheit und machte auf existenzielle Risiken durch KI aufmerksam, bevor dies zu einem Mainstream-Anliegen wurde. Seine Forschung hat andere Organisationen und Forscher beeinflusst, darunter die von OpenAI und Anthropic. MIRI wurde jedoch auch für seinen theoretischen Fokus und für wahrgenommenen Alarmismus kritisiert. Trotzdem wurde seine Arbeit von großen Spendern unterstützt, darunter Open Philanthropy und Vitalik Buterin, was seinen Einfluss in der Gemeinschaft des effektiven Altruismus widerspiegelt.