Superintelligenz bezeichnet eine hypothetische Intelligenz, die die kognitive Leistungsfähigkeit der besten menschlichen Köpfe in praktisch allen Bereichen weit übertreffen würde, einschließlich wissenschaftlicher Kreativität, allgemeiner Weisheit und sozialer Fähigkeiten. Das Konzept steht im Zentrum langfristiger Debatten in der KI-Sicherheit und wird am engsten mit dem Philosophen Nick Bostrom verbunden, dessen Buch „Superintelligenz: Szenarien einer kommenden Revolution“ aus dem Jahr 2014 die Idee in den Mainstream brachte und die anschließende Diskussion über KI-Risiken maßgeblich prägte.
Ursprünge des Konzepts
Spekulationen über Maschinen, die die menschliche Intelligenz übertreffen, gehen der modernen KI voraus. Der Mathematiker I. J. Good, ein Kollege von Alan Turing während des Zweiten Weltkriegs, schrieb in einem Essay von 1965, dass eine „ultraintelligente Maschine“ noch bessere Maschinen entwerfen könnte, was eine „Intelligenzexplosion“ auslösen würde, die den menschlichen Intellekt weit hinter sich ließe – eine Dynamik, die manchmal als rekursive Selbstverbesserung bezeichnet wird. Diese Idee liegt einem Großteil des späteren Denkens über die technologische Singularität zugrunde, einem hypothetischen Punkt unkontrollierbaren technologischen Wandels.
Bostroms Taxonomie
Bostroms Buch unterscheidet Formen der Superintelligenz nach der Art des Vorteils: „Geschwindigkeits-Superintelligenz“ (ein menschlich-intelligenter Geist, der weit schneller arbeitet), „kollektive Superintelligenz“ (viele Geister, die effektiv koordiniert sind) und „Qualitäts-Superintelligenz“ (ein Geist, der qualitativ überlegen ist, nicht nur schneller). Er popularisierte auch die „Orthogonalitätsthese“, die Behauptung, dass Intelligenz und Endziele unabhängig sind, was bedeutet, dass ein hochleistungsfähiges System nicht automatisch wohlwollend ist, sowie die verwandte These der „instrumentellen Konvergenz“, dass hinreichend fähige Agenten, die fast jedes Ziel verfolgen, dazu neigen, Ressourcen, Selbsterhaltung und Freiheit von Einmischung als nützliche Teilziele anzustreben.
Wege zur Superintelligenz
Vorgeschlagene Wege, die in der Literatur diskutiert werden, umfassen die Skalierung von Large-Language-Modell- und Foundation-Modell-Systemen, Ganzhirn-Emulation, biologische kognitive Verbesserung und vernetzte kollektive Intelligenz. Seit Mitte der 2020er-Jahre ist die dominante Branchenwette, dass die Skalierung von Rechenleistung, Daten und Modellgröße, geleitet von empirischen Skalierungsgesetzen, letztlich Systeme mit übermenschlicher Leistung über breite Bereiche hinweg hervorbringen könnte, obwohl umstritten bleibt, ob dieser Weg zu echter allgemeiner Superintelligenz oder nur zu enger übermenschlicher Fähigkeit führt.
Sicherheits- und Kontrolldebatten
Bostroms „Kontrollproblem“ – wie sichergestellt werden kann, dass ein superintelligentes System mit menschlichen Werten ausgerichtet bleibt, selbst nachdem es die menschliche Fähigkeit zur Bewertung oder Korrektur übertrifft – motiviert einen Großteil der zeitgenössischen Alignment-Forschung. Organisationen wie Anthropic, die teilweise um dieses Anliegen herum gegründet wurden, und Forscher wie Eliezer Yudkowsky haben argumentiert, dass fehlausgerichtete Superintelligenz ein ernstes existenzielle Risiko durch KI darstellt. Anthropic-CEO Dario Amodei und OpenAI-Mitbegründer Ilya Sutskever, der 2024 Safe Superintelligence Inc. explizit um dieses Ziel herum gründete, haben beide die sichere Entwicklung hochleistungsfähiger Systeme als eine prägende Herausforderung des Feldes bezeichnet.
Rezeption und Kritik
Bostroms Argumente haben erhebliche Kritik hervorgerufen. Einige Forscher, darunter Yann LeCun, argumentieren, dass aktuelle Architekturen weit von der Art allgemeiner, autonomer Handlungsfähigkeit entfernt sind, die die Szenarien annehmen, und dass spekulative Langzeitrisiko-Erzählungen von konkreteren, kurzfristigen Schäden wie Voreingenommenheit, Fehlinformationen und Arbeitsplatzverdrängung ablenken. Andere stellen die Orthogonalitätsthese infrage oder argumentieren, dass rekursive Selbstverbesserung mit abnehmenden Erträgen und physischen Engpässen konfrontiert ist, einschließlich Energie- und Chip-Versorgung, die der reine Rahmen der „Intelligenzexplosion“ unterschätzt. Trotz dieser Anfechtung bleibt Superintelligenz ein Bezugspunkt in Diskussionen zur KI-Governance, zitiert in Aussagen wie dem offenen Brief von 2023, der warnt, dass die Minderung des KI-Aussterberisikos eine globale Priorität neben Pandemien und Atomkrieg sein sollte.