Existenzrisiko durch KI bezieht sich auf das Argument, dass hinreichend fortgeschrittene künstliche Intelligenz das Aussterben der Menschheit oder einen nicht mehr erholbaren Zusammenbruch der Zivilisation verursachen könnte, sowie auf den Forschungs- und Advocacy-Bereich, der sich der Identifizierung, Messung und Minderung dieser Möglichkeit widmet. Es ist eine Teilmenge des breiteren Feldes der KI-Sicherheit und überschneidet sich stark mit Debatten über Superintelligenz und Ausrichtung.
Kernargumente
Das zentrale Argument besagt, dass ein hinreichend fähiges KI-System, das Ziele verfolgt, die nicht perfekt mit menschlichen Werten ausgerichtet sind, katastrophalen Schaden verursachen könnte, nicht unbedingt aus Bosheit, sondern als Nebenwirkung der Optimierung auf ein falsch spezifiziertes Ziel, ein Versagensmodus, der manchmal als Reward Hacking bezeichnet wird. Befürworter argumentieren, dass ein System mit ausreichend breiter Fähigkeit und Autonomie, insbesondere eines, das planen und externe Werkzeuge nutzen kann, Korrektur oder Abschaltung als instrumentell nützliches Unterziel widerstehen könnte, unabhängig von seinem ultimativen Ziel, eine Behauptung, die als instrumentelle Konvergenz bekannt ist. Skeptiker entgegnen, dass diese Argumentationskette auf unbewiesenen Annahmen darüber beruht, wie sich Fähigkeit, Zielgerichtetheit und Autonomie tatsächlich in realen Systemen entwickeln werden.
Wichtige Befürworter
Der Philosoph Nick Bostrom legte frühe akademische Grundlagen mit einem Artikel von 2002 über existenzielle Risiken und seinem Buch von 2014 über Superintelligenz. Der Forscher Eliezer Yudkowsky, der das Machine Intelligence Research Institute gründete, argumentiert seit über einem Jahrzehnt, dass fehlausgerichtete Superintelligenz eine schwerwiegende und unterschätzte Bedrohung darstellt,und hat sich für strenge internationale Kontrollen der Entwicklung von Frontier-KI eingesetzt. Der Informatiker Dan Hendrycks, Autor des MMLU-Wissensbenchmarks, hat durch das Center for AI Safety Forschung darauf ausgerichtet, katastrophale Risiken zu quantifizieren und zu kommunizieren. Deep-Learning-Pioniere Yoshua Bengiound Geoffrey Hinton, letzterer nach seinem Ausscheiden bei Google im Jahr 2023, haben beide öffentlich erklärt, dass die zunehmende KI-Fähigkeit die Plausibilität schwerwiegender, einschließlich existenzieller, Risiken erhöht.
##Die Erklärung von 2023 und der Pause-Brief
Öffentliche Besorgnis kristallisierte sich im Jahr 2023 durch zwei bemerkenswerte Dokumente heraus. Im März forderte der Pause-Brief des Future of Life Institute eine sechsmonatige Pause beim Training von KI-Systemen, die leistungsfähiger als GPT-4 sind, und sammelte Tausende von Unterzeichnern, darunter prominente Forscher und Technologen, obwohl mehrere Unterzeichner selbst die Entwicklung nicht pausierten. Im Mai veröffentlichte das Center for AI Safety eine ein-Satz-Erklärung,„Die Minderung des Risikos des Aussterbens durch KI sollte eine globale Priorität neben anderen gesellschaftlichen Risiken im Großmaßstab wie Pandemien und Atomkrieg sein,“ unterzeichnet von Hunderten von KI-Forschern und Führungskräften, einschließlich Führern von OpenAI, Google DeepMindund Anthropic.
##Gegenargumente und Skepsis
Prominente Skeptiker umfassen Yann LeCun, der argumentiert hat, dassdie Rahmung des existenziellen Risikos spekulativ und verfrüht angesichts der Grenzen aktueller Systeme ist,und Gary Marcus, der sowohl die technischen Annahmen hinter Untergangsszenarien als auch die Anreize von Labors kritisiert hat, die gleichzeitig vor katastrophalem Risiko warnen, während sie darum wetteifern, leistungsfähigere Systeme zu bauen. Kritiker einschließlich Timnit Gebru und Emily Bender haben argumentiert, dassdie Fokussierung auf hypothetische langfristige Aussterberisiken Aufmerksamkeitund Ressourcen von dokumentierten kurzfristigen Schäden ablenkt, wie verzerrten Ausgaben, Arbeitsplatzverdrängungund Machtkonzentration bei einer kleinen Anzahl von Unternehmen.
##Politische Antwort
Die Rahmung existenzieller und katastrophaler Risiken hat die Regierungspolitik beeinflusst, einschließlich der Bletchley-Erklärung des Vereinigten Königreichs von 2023, unterzeichnet von 28 Ländern beim KI-Sicherheitsgipfel,und Klauseln, die systemische Risiken durch die leistungsfähigsten allgemeinen Modelle innerhalb der KI-Regulierung der Europäischen Union adressieren. Mehrere Frontier-Labors, einschließlich Anthropic und OpenAI, haben interne Risikomanagement-Rahmenwerke veröffentlicht, manchmal als verantwortungsvolle Skalierungspolitiken bezeichnet, die sich zu fähigkeitsgebundenen Sicherheitsvorkehrungen verpflichten, wenn Modelle definierte Risikoschwellen überschreiten