KI-Sicherheit ist ein interdisziplinäres Feld, das sich darauf konzentriert, Unfälle, Missbrauch oder andere schädliche Folgen zu verhindern, die aus Systemen der künstlichen Intelligenz entstehen. Es umfasst die KI-Ausrichtung, die darauf abzielt, dass KI-Systeme wie beabsichtigt handeln, die Überwachung von KI-Systemen auf Risiken und die Verbesserung ihrer Robustheit. Das Feld befasst sich insbesondere mit existenziellen Risiken durch fortschrittliche KI-Modelle, adressiert aber auch kurzfristige Probleme wie Voreingenommenheit, Überwachung und Cyber-Bedrohungen.
Über die technische Forschung hinaus umfasst KI-Sicherheit die Entwicklung von Normen und Politiken, die Sicherheit fördern, einschließlich der Befürwortung von Regulierungen auf verschiedenen Regierungsebenen. Das Feld gewann 2023 erheblich an Popularität, mit schnellen Fortschritten bei generativer KI und öffentlichen Bedenken, die von Forschern und CEOs über potenzielle Gefahren geäußert wurden. Während des KI-Sicherheitsgipfels 2023 richteten die Vereinigten Staaten und das Vereinigte Königreich jeweils ihr eigenes KI-Sicherheitsinstitut ein. Forscher haben jedoch Bedenken geäußert, dass KI-Sicherheitsmaßnahmen nicht mit der schnellen Entwicklung der KI-Fähigkeiten Schritt halten.
Motivationen
Wissenschaftler diskutieren aktuelle Risiken durch kritische Systemausfälle, Voreingenommenheit und KI-gestützte Überwachung sowie aufkommende Risiken wie technologische Arbeitslosigkeit, digitale Manipulation, Waffeneinsatz, KI-gestützte Cyberangriffe und Bioterrorismus. Sie diskutieren auch spekulative Risiken durch den Verlust der Kontrolle über zukünftige Agenten der künstlichen allgemeinen Intelligenz (AGI) oder durch KI, die dauerhaft stabile Diktaturen ermöglicht.
Existenzielles Risiko
Einige haben Bedenken über AGI kritisiert, wie Andrew Ng, der sie 2015 mit „Sorgen um Überbevölkerung auf dem Mars verglich, wenn wir noch nicht einmal einen Fuß auf den Planeten gesetzt haben“. Stuart J. Russell hingegen mahnt zur Vorsicht und argumentiert, dass „es besser ist, menschlichen Einfallsreichtum vorwegzunehmen, als ihn zu unterschätzen“.
KI-Forscher haben stark unterschiedliche Meinungen über die Schwere und die Hauptquellen der Risiken, die von KI-Technologie ausgehen - obwohl Umfragen nahelegen, dass Experten Risiken mit hohen Konsequenzen ernst nehmen. In zwei Umfragen unter KI-Forschern war der Medianbefragte insgesamt optimistisch gegenüber KI, schätzte jedoch eine Wahrscheinlichkeit von 5 % für ein „extrem schlechtes (z. B. menschliches Aussterben)“ Ergebnis fortschrittlicher KI ein. In einer Umfrage von 2022 unter der Gemeinschaft der Verarbeitung natürlicher Sprache stimmten 37 % zu oder stimmten schwach zu, dass es plausibel ist, dass KI-Entscheidungen zu einer Katastrophe führen könnten, die „mindestens so schlimm wie ein totaler Atomkrieg“ ist.
Geschichte
Risiken durch KI wurden zu Beginn des Computerzeitalters ernsthaft diskutiert. 1951 schrieb Alan Turing: „Wenn wir uns außerdem in Richtung der Herstellung von Maschinen bewegen, die lernen und deren Verhalten durch Erfahrung modifiziert wird, müssen wir uns der Tatsache stellen, dass jeder Grad an Unabhängigkeit, den wir der Maschine geben, ein Grad an möglichem Widerstand gegen unsere Wünsche ist.“ 1988 veröffentlichte Blay Whitby ein Buch, das die Notwendigkeit darlegte, KI entlang ethischer und sozial verantwortlicher Linien zu entwickeln.
Von 2008 bis 2009 beauftragte die Association for the Advancement of Artificial Intelligence (AAAI) eine Studie, um potenzielle langfristige gesellschaftliche Einflüsse der KI-Forschung und -Entwicklung zu untersuchen und anzugehen. Das Gremium war gegenüber den radikalen Ansichten, die von Science-Fiction-Autoren geäußert wurden, allgemein skeptisch, stimmte jedoch zu, dass „zusätzliche Forschung wertvoll wäre für Methoden zum Verständnis und zur Verifizierung der Bandbreite von Verhaltensweisen komplexer Computersysteme, um unerwartete Ergebnisse zu minimieren“.
2011 führte Roman Yampolskiy den Begriff „KI-Sicherheitstechnik“ auf der Konferenz für Philosophie und Theorie der künstlichen Intelligenz ein, listete frühere Ausfälle von KI-Systemen auf und argumentierte, dass „die Häufigkeit und Ernsthaftigkeit solcher Ereignisse stetig zunehmen wird, je fähiger KIs werden“.
2014 veröffentlichte der Philosoph Nick Bostrom das Buch Superintelligenz: Szenarien einer kommenden Revolution. Er vertritt die Meinung, dass der Aufstieg der AGI das Potenzial hat, verschiedene gesellschaftliche Probleme zu schaffen, von der Verdrängung der Arbeitskräfte durch KI über die Manipulation politischer und militärischer Strukturen bis hin zur Möglichkeit des menschlichen Aussterbens. Sein Argument, dass zukünftige fortschrittliche Systeme eine Bedrohung für die menschliche Existenz darstellen könnten, veranlasste Elon Musk, Bill Gates und Stephen Hawking, ähnliche Bedenken zu äußern.
2015 unterzeichneten Dutzende von KI-Experten einen offenen Brief zur künstlichen Intelligenz, der Forschung zu den gesellschaftlichen Auswirkungen von KI forderte und konkrete Richtungen umriss. Bis heute wurde der Brief von über 8000 Personen unterzeichnet, darunter Yann LeCun, Shane Legg, Yoshua Bengio und Stuart Russell. Im selben Jahr gründete eine Gruppe von Akademikern unter der Leitung von Professor Stuart J. Russell das Center for Human-Compatible AI an der University of California Berkeley, und das Future of Life Institute vergab 6,5 Millionen Dollar an Zuschüssen für Forschung, die darauf abzielt, „sicherzustellen, dass künstliche Intelligenz (KI) sicher, ethisch und vorteilhaft bleibt“.
2016 kündigten das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses und die Carnegie Mellon University den öffentlichen Workshop zu Sicherheit und Kontrolle für künstliche Intelligenz an, der einer von vier Workshops des Weißen Hauses war, die darauf abzielten, die „Vorteile und Nachteile“ von KI zu untersuchen. Im selben Jahr wurde Concrete Problems in AI Safety - eine der ersten und einflussreichsten technischen KI-Sicherheitsagenden - veröffentlicht.
2017 sponserte das Future of Life Institute die Asilomar-Konferenz für vorteilhafte KI, auf der mehr als 100 Vordenker Prinzipien für vorteilhafte KI formulierten, darunter „Wettlaufvermeidung: Teams, die KI-Systeme entwickeln, sollten aktiv zusammenarbeiten, um das Überspringen von Sicherheitsstandards zu vermeiden“.
2018 skizzierte das DeepMind-Sicherheitsteam KI-Sicherheitsprobleme in Spezifikation, Robustheit und Gewährleistung. Im folgenden Jahr organisierten Forscher einen Workshop auf der ICLR, der sich auf diese Problembereiche konzentrierte. 2021 wurde Unsolved Problems in ML Safety veröffentlicht, das Forschungsrichtungen in Robustheit, Überwachung, Ausrichtung und systemischer Sicherheit umriss.
2023 erklärte Rishi Sunak, dass er möchte, dass das Vereinigte Königreich die „geografische Heimat der globalen KI-Sicherheitsregulierung“ wird und den ersten globalen Gipfel zur KI-Sicherheit ausrichtet. Der KI-Sicherheitsgipfel fand im November 2023 statt und konzentrierte sich auf die Risiken von Missbrauch und Kontrollverlust im Zusammenhang mit KI-Modellen an der Grenze. Während des Gipfels wurde die Absicht angekündigt, den Internationalen Wissenschaftlichen Bericht zur Sicherheit fortschrittlicher KI zu erstellen.
2024 schmiedeten die USA und das Vereinigte Königreich eine neue Partnerschaft in der Wissenschaft der KI-Sicherheit. Die Absichtserklärung wurde am 1. April 2024 von der US-Handelsministerin Gina Raimondo und der britischen Technologieministerin Michelle Donelan unterzeichnet, um gemeinsam fortschrittliche KI-Modelltests zu entwickeln, nach Verpflichtungen, die auf einem KI-Sicherheitsgipfel in Bletchley Park im November angekündigt wurden.
2025 veröffentlichte ein internationales Team von 96 Experten unter dem Vorsitz von Yoshua Bengio den ersten Internationalen KI-Sicherheitsbericht. Der Bericht, der von 30 Nationen und den Vereinten Nationen in Auftrag gegeben wurde, stellt die erste globale wissenschaftliche Überprüfung potenzieller Risiken dar, die mit fortschrittlicher künstlicher Intelligenz verbunden sind. Er beschreibt potenzielle Bedrohungen durch Missbrauch, Fehlfunktion und gesellschaftliche Störung, mit dem Ziel, Politik durch evidenzbasierte Erkenntnisse zu informieren.
Technische Ansätze
Die technische KI-Sicherheitsforschung umfasst mehrere Teilgebiete. Robustheit zielt darauf ab, dass KI-Systeme zuverlässig unter Verteilungsverschiebungen, adversarischen Angriffen und Eingaben außerhalb der Verteilung funktionieren. Überwachung umfasst die Erkennung und Vorhersage schädlicher Verhaltensweisen, beispielsweise durch Anomalieerkennung oder Interpretierbarkeitswerkzeuge. Ausrichtung konzentriert sich darauf, die Ziele und Verhaltensweisen von KI-Systemen mit menschlichen Werten und Absichten in Einklang zu bringen. Dies umfasst Spezifikation (Definieren, was wir wollen), Gewährleistung (Verifizieren der Einhaltung) und Korrigierbarkeit (Ermöglichen von Korrekturen).
Concrete Problems in AI Safety (2016) identifizierte fünf Forschungsbereiche: negative Nebenwirkungen, Belohnungs-Hacking, skalierbare Aufsicht, sichere Erkundung und Verteilungsverschiebung. Diese Probleme bleiben zentral für das Feld. Nachfolgende Arbeiten haben sich auf Interpretierbarkeit ausgeweitet, die darauf abzielt, die internen Mechanismen von Modellen wie großen Sprachmodellen zu verstehen, sowie auf systemische Sicherheit, die Risiken aus Multi-Agenten-Interaktionen und gesellschaftlichen Auswirkungen adressiert.
Institutionen und Governance
KI-Sicherheitsforschung wird an akademischen Institutionen und in Industrielabors durchgeführt. Das Center for Human-Compatible AI an der UC Berkeley, das Future of Humanity Institute an der Universität Oxford und das Machine Intelligence Research Institute sind bemerkenswerte akademische Zentren. Zu den industriellen Bemühungen gehören das Sicherheitsteam von DeepMind, die Ausrichtungsforschung von OpenAI und der verfassungsmäßige KI-Ansatz von Anthropic. Regierungsbehörden wie das US-KI-Sicherheitsinstitut und das britische KI-Sicherheitsinstitut wurden 2023 eingerichtet, um Modelle an der Grenze zu bewerten.
Die internationale Zusammenarbeit ist gewachsen, beispielhaft durch den Internationalen KI-Sicherheitsbericht (2025) und bilaterale Abkommen wie die US-UK-Partnerschaft. Die Governance bleibt jedoch fragmentiert, mit Debatten über das angemessene Regulierungsniveau und das Tempo der Sicherheitsforschung im Verhältnis zur Fähigkeitsentwicklung.
Herausforderungen und Kritik
KI-Sicherheit steht vor mehreren Herausforderungen. Technische Schwierigkeiten umfassen die Komplexität der Spezifikation menschlicher Werte, die Undurchsichtigkeit neuronaler Netze und die Schwierigkeit, die Ausrichtung in fortschrittlichen Systemen zu verifizieren. Es gibt auch soziale Herausforderungen, wie das Risiko, dass Sicherheitsmaßnahmen in wettbewerbsorientierten Umgebungen umgangen werden, und die Notwendigkeit interdisziplinärer Zusammenarbeit.
Kritiker argumentieren, dass Bedenken hinsichtlich existenzieller Risiken übertrieben sind und von unmittelbareren Schäden wie Voreingenommenheit und Überwachung ablenken. Andere behaupten, dass Sicherheitsforschung unterfinanziert ist und dass das Feld keine klaren Erfolgsmetriken hat. Der schnelle Fortschritt von generativer KI hat diese Debatten intensiviert, wobei einige Forscher Moratorien für bestimmte Entwicklungen fordern.
Zukünftige Richtungen
Zukünftige KI-Sicherheitsforschung wird sich wahrscheinlich auf skalierbare Aufsicht, Interpretierbarkeit und robuste Ausrichtung für zunehmend fähige Systeme konzentrieren. Die Entwicklung von KI, die sich selbst verbessern kann, wirft neue Fragen zu Kontrolle und Wertverankerung auf. Internationale Koordination und die Etablierung von Sicherheitsstandards werden entscheidend sein. Da KI-Systeme stärker in die Gesellschaft integriert werden, muss das Feld nicht nur technische Risiken, sondern auch ethische, rechtliche und politische Dimensionen adressieren.
Der Internationale KI-Sicherheitsbericht (2025) betont die Notwendigkeit evidenzbasierter Politik und fortgesetzter Forschung. Es wird erwartet, dass das Feld wächst, wobei mehr Institutionen und Regierungen in Sicherheitsmaßnahmen investieren. Die Kluft zwischen KI-Fähigkeiten und Sicherheitsforschung bleibt jedoch eine Sorge, wie viele Experten anmerken.