Das UK AI Safety Institute (AISI) ist eine staatlich unterstützte Organisation, die im November 2023 gegründet wurde, um die Sicherheit fortschrittlicher künstlicher Intelligenz (KI)-Modelle, oft als Frontier-KI-Modelle bezeichnet, zu bewerten und sicherzustellen. Es entstand aus der Frontier AI Taskforce und wurde offiziell während des vom Vereinigten Königreich ausgerichteten KI-Sicherheitsgipfels ins Leben gerufen. Die Hauptaufgabe des Instituts besteht darin, unabhängige Sicherheitsbewertungen hochmoderner KI-Systeme durchzuführen und Bedenken zu adressieren, dass KI-Unternehmen ihre eigenen Risiken nicht zuverlässig selbst bewerten können. Im Jahr 2025 wurde das Institut in AI Security Institute umbenannt, was einen breiteren Fokus auf sicherheitsbezogene Aspekte der KI-Sicherheit widerspiegelt.
Die Gründung des UK AISI war Teil einer globalen Bewegung, die 2023 an Dynamik gewann, angetrieben durch öffentliche Erklärungen über potenzielle existenzielle Risiken durch KI. Das Institut operiert von seinem Hauptsitz in London und eröffnete im Mai 2024 ein Büro in San Francisco, um näher an den großen KI-Entwicklern zu sein. Es arbeitet mit internationalen Partnern über ein Netzwerk von KI-Sicherheitsinstituten zusammen, mit dem Ziel, neue internationale Standards für die KI-Sicherheitsbewertung zu setzen.
Gründung und frühe Entwicklung
Das UK AISI wurde formell im November 2023 während des KI-Sicherheitsgipfels gegründet, einer Veranstaltung, die vom damaligen Premierminister Rishi Sunak einberufen wurde. Sunak hatte seine Absicht geäußert, "das Vereinigte Königreich nicht nur zur intellektuellen Heimat, sondern auch zur geografischen Heimat der globalen KI-Sicherheitsregulierung zu machen", und betonte die Notwendigkeit unabhängiger Aufsicht. Das Institut entwickelte sich aus der Frontier AI Taskforce, einem Regierungsgremium, das Anfang 2023 zur Bewertung von Risiken fortschrittlicher KI geschaffen wurde. Sein anfänglicher Fokus lag auf der Bewertung großer Sprachmodelle und anderer generativer KI-Systeme auf potenzielle Schäden, einschließlich Voreingenommenheit, Fehlinformationen und Missbrauch.
Im April 2024 schloss das UK AISI eine Vereinbarung mit dem US AI Safety Institute, um bei mindestens einem gemeinsamen Sicherheitstest zusammenzuarbeiten. Diese Partnerschaft zielte darauf ab, Bewertungsverfahren zu harmonisieren und Doppelarbeit zu reduzieren. Politico berichtete im April 2024, dass viele KI-Unternehmen keinen Zugang zu ihren fortschrittlichsten Modellen vor der Bereitstellung für Bewertungen gewährt hatten, teilweise weil sie auf gemeinsame Regeln der britischen und US-amerikanischen Institute warteten. Nick Clegg, Präsident für globale Angelegenheiten bei Meta, merkte an, dass Unternehmen Klarheit über Bewertungsstandards suchten, bevor sie Zugang gewährten.
Das Institut kündigte im Mai 2024 an, ein Büro in San Francisco zu eröffnen, wo viele führende KI-Unternehmen wie OpenAI und Anthropic ansässig sind. Dieser Schritt war Teil eines Plans, "neue internationale Standards für KI-Sicherheit zu setzen", so die britische Technologieministerin Michele Donelan. Das Büro in San Francisco sollte die direkte Zusammenarbeit mit Entwicklern erleichtern und Tests von Frontier-Modellen vor der Bereitstellung ermöglichen.
Mission und Ziele
Die Kernmission des UK AISI besteht darin, Frontier-KI-Modelle zu bewerten, um potenzielle Sicherheitsrisiken vor ihrer Bereitstellung zu identifizieren. Dies umfasst die Bewertung von Fähigkeiten in Bereichen wie Cybersicherheit, Biosecurity und autonomer Entscheidungsfindung. Das Institut zielt darauf ab, evidenzbasierte Leitlinien für politische Entscheidungsträger und Entwickler bereitzustellen und so zur Minderung von Risiken fortschrittlicher KI beizutragen. Seine Arbeit basiert auf dem Prinzip der unabhängigen Bewertung, um sicherzustellen, dass Sicherheitsbewertungen nicht von kommerziellen Interessen beeinflusst werden.
Das Institut trägt auch zur Entwicklung internationaler Standards für KI-Sicherheit bei. Durch die Zusammenarbeit mit anderen nationalen Instituten strebt es danach, einen gemeinsamen Rahmen für die Bewertung von KI-Systemen zu schaffen, der weltweit übernommen werden kann. Dies umfasst den Austausch von Methoden, die Durchführung gemeinsamer Tests und die Veröffentlichung von Ergebnissen zur Information der öffentlichen Diskussion. Die Forschung des Instituts umfasst oft Stresstests von Modellen großer Entwickler, einschließlich Google DeepMind und anderer führender Labore.
Im Jahr 2025 wurde das Institut in AI Security Institute umbenannt, was einen erweiterten Fokus auf sicherheitsbezogene Bedrohungen signalisiert, wie die Nutzung von KI bei Cyberangriffen oder die Verbreitung schädlicher Inhalte. Diese Änderung spiegelte sich entwickelnde Prioritäten in der KI-Governance wider, da sich Bedenken von allgemeiner Sicherheit zu spezifischen Sicherheitsimplikationen verschoben.
Internationales Netzwerk
Beim KI-Gipfel in Seoul im Mai 2024 vereinbarten internationale Führungskräfte die Bildung eines Netzwerks von KI-Sicherheitsinstituten, das Einrichtungen aus dem Vereinigten Königreich, den USA, Japan, Frankreich, Deutschland, Italien, Singapur, Südkorea, Australien, Kanada und der Europäischen Union umfasst. Das UK AISI spielt eine zentrale Rolle in diesem Netzwerk, das darauf abzielt, Bewertungsbemühungen zu koordinieren und bewährte Praktiken auszutauschen. Das Netzwerk führte im Juli 2025 eine Übung durch, um Probleme bei der Bewertung von KI-Agenten zu untersuchen, insbesondere in Bezug auf das Leaken sensibler Informationen und Cybersicherheit. Mitglieder trafen sich auch bei NeurIPS 2025 in San Diego, um jüngste Fortschritte in der KI-Sicherheitsforschung zu diskutieren.
Die Bildung des Netzwerks markierte einen bedeutenden Schritt hin zur globalen Zusammenarbeit in der KI-Governance. Jedes Mitgliedsinstitut operiert in seinem nationalen Kontext, trägt aber zu einer kollektiven Anstrengung bei, die sichere Entwicklung von Frontier-KI zu gewährleisten. Die Zusammenarbeit des UK AISI mit dem US-Institut war insbesondere maßgeblich für die Angleichung der Bewertungsstandards zwischen den beiden führenden KI-Nationen.
Spezifische Institute
Australien
Das Australian AI Safety Institute wurde am 25. November 2025 von der Albanese-Regierung angekündigt. Es ist im Department of Industry, Science and Resources angesiedelt und wird durch ein Budget von 29.900.000 australischen Dollar über vier Jahre unterstützt. Sein General Manager ist Kate Conroy, die auch verantwortliche KI-Initiativen in der Royal Australian Air Force leitet. Das Institut konzentriert sich auf die Bewertung von KI-Systemen für inländische Anwendungen, einschließlich Verteidigung und öffentlicher Dienste.
Kanada
Kanada kündigte im April 2024 Pläne zur Schaffung eines KI-Sicherheitsinstituts an, und das Institut wurde offiziell im November 2024 gegründet. Es operiert unter Innovation, Science and Economic Development Canada in Partnerschaft mit dem Canadian Institute for Advanced Research (CIFAR). Das Institut wird durch ein Budget von 50.000.000 kanadischen Dollar über fünf Jahre unterstützt und finanziert Forschungs- und Bewertungsaktivitäten in verschiedenen Sektoren.
Europäische Union
Das EU AI Office, gegründet im Mai 2024, ist Mitglied des internationalen Netzwerks von KI-Sicherheitsinstituten. Es koordiniert KI-Sicherheitsbemühungen in den Mitgliedstaaten und konzentriert sich auf regulatorische Compliance und Risikobewertung. Das Büro arbeitet eng mit nationalen Instituten zusammen, um einen kohärenten Ansatz für die KI-Governance innerhalb der EU sicherzustellen.
Frankreich
Frankreich schuf das Institut national pour l'évaluation et la sécurité de l'intelligence artificielle (INESIA) am 31. Januar 2025. Dieses nationale Institut für KI-Bewertung und -Sicherheit ist damit beauftragt, die Sicherheit von KI-Systemen zu bewerten, die in französischen Industrien und öffentlichen Diensten verwendet werden. Es arbeitet mit anderen europäischen Instituten zusammen, um Bewertungsmethoden zu harmonisieren.
Indien
Das Ministry of Electronics and Information Technology (MeitY) führte am 7. Oktober 2024 Konsultationen mit verschiedenen Interessengruppen durch, darunter Meta Platforms, Google, Microsoft, IBM, OpenAI, NASSCOM und Indian Institutes of Technology (IITs), bezüglich der Einrichtung eines KI-Sicherheitsinstituts. Es wurde die Entscheidung getroffen, den Fokus von Regulierung auf Standardsetzung, Risikoidentifikation und Schadenserkennung zu verlagern. Das Institut könnte die 20 Crore Rupien, die dem Safe and Trusted Pillar der IndiaAI Mission zugewiesen wurden, für sein anfängliches Budget verwenden. Minister Ashwini Vaishnaw kündigte die Schaffung des IndiaAI Safety Institute am 30. Januar 2025 an, um inländische Forschung und Entwicklung zu fördern, die in Indiens sozialer, wirtschaftlicher, kultureller und sprachlicher Vielfalt verwurzelt ist. Es operiert unter einem "Hub-and-Spoke"-Modell mit Zusammenarbeit von akademischen Institutionen, Technologieunternehmen und internationalen Organisationen wie der UNESCO.
Japan
Das Japan AISI (J-AISI) wurde im Februar 2024 als Teil der Information Technology Promotion Agency gegründet. Es beschäftigt etwa 23 Personen und besteht aus dem Council of AISI, dem AISI Steering Committee und einem Sekretariat mit sechs Teams. Akiko Murakami, zuvor bei IBM Japan und Sompo Japan, fungiert als Exekutivdirektorin, mit Kenji Hiramoto und Suguru Nishimura als stellvertretenden Exekutivdirektoren. Das Institut konzentriert sich auf die Bewertung von KI-Systemen für die Anforderungen des japanischen Marktes.
Kenia
Kenia stimmte zu, dem internationalen Netzwerk von KI-Sicherheitsinstituten beizutreten, hat jedoch keine spezifischen Details angekündigt. Es ist der einzige afrikanische Staat im Netzwerk, was die wachsende globale Reichweite der KI-Sicherheitsbemühungen hervorhebt.
Singapur
Das Digital Trust Centre, ursprünglich im Juni 2022 gegründet, wurde im Mai 2024 in Singapore AISI umbenannt. Als Teil der Nanyang Technological University arbeitet das Institut mit der Infocomm Media Development Authority zusammen und wird durch eine Investition von 10.000.000 Singapur-Dollar pro Jahr unterstützt. Es konzentriert sich auf die Bewertung von KI-Systemen für Vertrauen und Sicherheit in Südostasien.
Südkorea
Südkorea kündigte im Mai 2024 an, ein KI-Sicherheitsinstitut unter dem Electronics and Telecommunications Research Institute zu schaffen. Es wird durch eine vorläufige Investition von 10 bis 20 Millionen südkoreanischer Won pro Jahr unterstützt und beschäftigt mindestens 30 Personen. Das Institut wurde im November 2024 gegründet und hat seinen Sitz im Bezirk Bundang.
Auswirkungen und zukünftige Richtungen
Das UK AISI hat den globalen KI-Sicherheitsdiskurs erheblich beeinflusst und Präzedenzfälle für unabhängige Bewertung gesetzt. Seine Arbeit hat politische Entscheidungen im Vereinigten Königreich und im Ausland informiert und zur Entwicklung regulatorischer Rahmenwerke beigetragen. Die Zusammenarbeit des Instituts mit internationalen Partnern hat den Austausch von Bewertungstechniken und Risikobewertungswerkzeugen erleichtert.
In der Zukunft steht das Institut vor Herausforderungen, mit den rasanten Fortschritten in der KI Schritt zu halten, insbesondere in Bereichen wie generative KI und autonomen Systemen. Sein umbenannter Fokus auf Sicherheit deutet auf eine Verschiebung hin zur Bewältigung unmittelbarer Bedrohungen hin, wie KI-gestützte Cyberangriffe. Die Rolle des Instituts im internationalen Netzwerk wird sich wahrscheinlich erweitern, da mehr Länder ihre eigenen Sicherheitsgremien einrichten.
Die Mission des UK AISI bleibt zentral für die Gewährleistung, dass Frontier-KI-Modelle verantwortungsvoll entwickelt und bereitgestellt werden. Durch rigorose, unabhängige Bewertungen zielt es darauf ab, Risiken zu mindern und gleichzeitig Innovation zu fördern. Da sich KI-Technologien weiterentwickeln, müssen sich die Methoden und Prioritäten des Instituts anpassen, aber sein Kernziel, öffentliche Interessen zu schützen, bleibt bestehen.