KI-Sicherheit ist das interdisziplinäre Feld, das sich mit der Verhinderung von Schäden durch Systeme der künstlichen Intelligenz befasst. Es umfasst kurzfristige Probleme wie Voreingenommenheit, Fehlinformationen und Missbrauch sowie längerfristige Bedenken darüber, ob Menschen eine sinnvolle Kontrolle über hochgradig fähige zukünftige Systeme behalten würden. Es stützt sich auf Forschung zu maschinellem Lernen, Politik und Philosophie, und seine Praktiker sind sich untereinander uneinig, welche Risiken die meiste Aufmerksamkeit verdienen - eine Spaltung, die informell oft als "kurzfristige" versus "langfristige" Sicherheit beschrieben wird.
Umfang
Kurzfristige KI-Sicherheitsarbeit befasst sich mit Problemen, die in heute eingesetzten Systemen sichtbar sind: Modelle, die falsche oder erfundene Aussagen produzieren, ein Versagen, das als Halluzination bekannt ist; Systeme, die durch Prompt-Injection oder einen Jailbreak manipuliert werden können, um ihre Anweisungen zu ignorieren; und die breitere Herausforderung, Schutzmechanismen zu entwickeln, die schädliche Ausgaben filtern oder blockieren, ohne ein System unbrauchbar zu machen. Längerfristige KI-Sicherheitsarbeit befasst sich mit existenziellem Risiko durch KI, einschließlich der Möglichkeit, dass ein System, das sich allgemeiner künstlicher Intelligenz oder Superintelligenz nähert, Ziele verfolgen könnte, die nicht mit menschlichen Interessen übereinstimmen, auf eine Weise, die schwer rückgängig zu machen ist. Beide Stränge betrachten Ausrichtung, das Problem, das tatsächliche Verhalten eines Systems mit den Absichten seiner Entwickler in Einklang zu bringen, als grundlegend.
Geschichte und Institutionen
Organisierte KI-Sicherheitsforschung wuchs erheblich nach der Skalierung von großen Sprachmodellen in den frühen 2020er Jahren. Anthropic wurde 2021 von ehemaligen OpenAI-Forschern gegründet, teilweise um Sicherheitsforschung zu betreiben, von der sie glaubten, dass sie den direkten Aufbau und die Untersuchung von Grenzmodellen erfordert. Akademische und gemeinnützige Institutionen wie das Machine Intelligence Research Institute und das Center for AI Safety, verbunden mit Forschern wie Eliezer Yudkowsky und Dan Hendrycks, haben argumentiert, dass extreme Risiken durch fortgeschrittene KI als ernsthafte Möglichkeit behandelt werden sollten; 2023 veröffentlichte Hendrycks' Zentrum eine ein-Satz-Erklärung, die von Führungspersönlichkeiten aus großen Laboren unterzeichnet wurde und dazu aufrief, das Risiko des Aussterbens durch KI als globale Priorität zu behandeln, vergleichbar mit Pandemien und Atomkrieg. Regierungen reagierten mit neuen Institutionen und Vereinbarungen, einschließlich der Bletchley-Erklärung beim ersten KI-Sicherheitsgipfel des Vereinigten Königreichs im November 2023, nationalen KI-Sicherheitsinstituten im Vereinigten Königreich und den USA sowie verbindlichen Regelungen wie dem EU-KI-Gesetz.
Techniken
Praktische Sicherheitstechniken umfassen Red Teaming, bei dem Tester absichtlich versuchen, schädliches Verhalten hervorzurufen, bevor ein System eingesetzt wird; Interpretierbarkeitsforschung, die versucht, die internen Berechnungen eines Modells zu verstehen, anstatt es nur anhand seiner Ausgaben zu beurteilen; Reinforcement Learning aus menschlichem Feedback und konstitutionelle KI, die das Modellverhalten während des Trainings formen; und Bewertungsrahmen, die auf gefährliche Fähigkeiten testen, wie die Fähigkeit, bei Cyberangriffen oder der Entwicklung von Biowaffen zu helfen. Einige Labore haben Fähigkeitsschwellen veröffentlicht, die zusätzliche Sicherheitsvorkehrungen auslösen, wenn Modelle leistungsfähiger werden, eine Praxis, die sich in Rahmenwerken wie der verantwortungsvollen Skalierungspolitik von Anthropic widerspiegelt.
Debatte
Kritiker auf der einen Seite argumentieren, dass existenzielle Rahmungen Aufmerksamkeit und Finanzierung von konkreten, gegenwärtigen Schäden wie algorithmischer Voreingenommenheit, Arbeitsplatzverlagerung und den Umweltkosten von Trainingsläufen abziehen. Kritiker auf der anderen Seite, einschließlich einiger KI-Sicherheitsforscher selbst, argumentieren, dass freiwillige Verpflichtungen von Laboren, die darum wetteifern, immer leistungsfähigere Systeme zu bauen, ohne externe Durchsetzung unzureichend sind und dass Wettbewerbsdruck zwischen Unternehmen und Ländern öffentlich gemachte Sicherheitsversprechen untergräbt. Das Feld steht auch vor einem grundlegenden Messproblem: Anders als sicherheitskritische Branchen mit jahrzehntelangen Vorfallsdaten gibt es keinen etablierten Weg, die Wahrscheinlichkeit der Schäden zu quantifizieren, die KI-Sicherheitsarbeit verhindern soll, was die zugrunde liegende Debatte über Prioritäten ungelöst hält.