Das UK AI Safety Institute (UK AISI) war eine staatlich unterstützte Organisation, die im November 2023 gegründet wurde, um fortschrittliche Modelle der künstlichen Intelligenz (KI), insbesondere Grenz-KI-Systeme, zu evaluieren und ihre Sicherheit zu gewährleisten. Ihre Gründung markierte einen bedeutenden Schritt in der globalen Bewegung hin zu formaler KI-Sicherheitsregulierung, nach öffentlichen Erklärungen im Jahr 2023 über potenzielle existenzielle Risiken durch KI. Das Institut entwickelte sich aus der Frontier AI Taskforce und wurde von Premierminister Rishi Sunak angekündigt, der die Notwendigkeit unabhängiger Sicherheitsbewertungen betonte und erklärte, dass KI-Unternehmen nicht „ihre eigenen Hausaufgaben benoten" könnten. Ursprünglich in London ansässig, expandierte das UK AISI später im Mai 2024 nach San Francisco, um näher an den großen KI-Entwicklern zu sein. Im Jahr 2025 wurde es in AI Security Institute umbenannt, was einen breiteren Fokus auf Sicherheitsbedenken widerspiegelt.
Hintergrund und Motivation
Das Konzept eines Instituts für künstliche Intelligenz-Sicherheit entstand als eine Art staatlich unterstützte Organisation, die darauf abzielt, die Sicherheit fortschrittlicher KI-Modelle zu evaluieren und zu gewährleisten. Im Jahr 2023 gewann KI-Sicherheit an Bedeutung, mit bemerkenswerten öffentlichen Aussagen von Forschern und Branchenführern über die potenziellen existenziellen Risiken durch KI. Die britische Regierung unter Premierminister Rishi Sunak versuchte, das Land als führend in der KI-Sicherheitsregulierung zu positionieren. Sunak äußerte seine Absicht, „das Vereinigte Königreich nicht nur zum intellektuellen Zuhause, sondern auch zum geografischen Zuhause globaler KI-Sicherheitsregulierung zu machen", und kündigte Pläne für einen KI-Sicherheitsgipfel an. Der Gipfel fand im November 2023 in Bletchley Park statt, einem historischen Ort, der für seine Rolle beim Codeknacken im Zweiten Weltkrieg bekannt ist, was das Engagement des Vereinigten Königreichs für technologische Sicherheit symbolisiert.
Gründung und Entwicklung
Das UK AISI wurde offiziell während des KI-Sicherheitsgipfels im November 2023 gegründet und entwickelte sich aus der Frontier AI Taskforce, die früher in diesem Jahr geschaffen worden war. Die Hauptaufgabe des Instituts bestand darin, Sicherheitsbewertungen von Grenz-KI-Modellen vor deren Einsatz durchzuführen, mit Fokus auf Fähigkeiten wie Großsprachmodell-Argumentation, generative KI-Inhaltserstellung und potenziellen Missbrauch. Das Institut zielte darauf ab, unabhängige Bewertungen bereitzustellen und die Abhängigkeit von Selbstbewertungen der KI-Unternehmen zu verringern. Im April 2024 schlossen das Vereinigte Königreich und die USA ein Abkommen, um bei mindestens einem gemeinsamen Sicherheitstest zusammenzuarbeiten, was einen Meilenstein in der internationalen Zusammenarbeit markierte. Das UK AISI kündigte im Mai 2024 an, ein Büro in San Francisco zu eröffnen, wo viele führende KI-Unternehmen, darunter OpenAI, Anthropic und Google DeepMind, ihren Hauptsitz haben. Dieser Schritt war Teil eines Plans, „neue, internationale Standards für KI-Sicherheit zu setzen", so die britische Technologieministerin Michele Donelan.
Internationales Netzwerk
Die Gründung des UK AISI katalysierte die Bildung eines globalen Netzwerks von KI-Sicherheitsinstituten. Beim KI-Gipfel in Seoul im Mai 2024 vereinbarten internationale Führungskräfte, ein Netzwerk zu bilden, das Institute aus dem Vereinigten Königreich, den USA, Japan, Frankreich, Deutschland, Italien, Singapur, Südkorea, Australien, Kanada und der Europäischen Union umfasst. Dieses Netzwerk zielte darauf ab, Bewertungsverfahren zu harmonisieren und bewährte Praktiken auszutauschen. Im Juli 2025 führte das Netzwerk eine Übung durch, um Probleme bei der Bewertung von KI-Agenten zu untersuchen, insbesondere im Hinblick auf das Leaken sensibler Informationen oder Cybersicherheit. Mitglieder trafen sich auch bei NeurIPS 2025 in San Diego, einer bedeutenden Konferenz für maschinelles Lernen-Forschung, um Fortschritte und zukünftige Richtungen zu diskutieren.
Spezifische Institute
Australien
Die Albanese-Regierung kündigte am 25. November 2025 die Gründung des Australian AI Safety Institute an. Das Institut ist im Department of Industry, Science and Resources untergebracht und wird durch ein Budget von 29.900.000 australischen Dollar über vier Jahre unterstützt. Seine Generalmanagerin ist Kate Conroy, die auch verantwortliche KI-Initiativen in der Royal Australian Air Force leitet.
Kanada
Kanada kündigte im April 2024 an, ein KI-Sicherheitsinstitut zu schaffen, das offiziell im November 2024 gegründet wurde. Das Institut operiert unter Innovation, Science and Economic Development Canada und arbeitet mit dem Canadian Institute for Advanced Research (CIFAR) zusammen. Es wird durch ein Budget von 50.000.000 kanadischen Dollar über fünf Jahre unterstützt.
Europäische Union
Das EU AI Office, gegründet im Mai 2024, ist Mitglied des internationalen Netzwerks von KI-Sicherheitsinstituten. Es koordiniert KI-Sicherheitsbemühungen in den Mitgliedstaaten, mit Fokus auf Regulierung und Standards.
Frankreich
Am 31. Januar 2025 schuf die französische Regierung das Institut national pour l'évaluation et la sécurité de l'intelligence artificielle (INESIA), oder das Nationale Institut für KI-Bewertung und -Sicherheit. Dieses Institut zielt darauf ab, KI-Systeme zu evaluieren und zu europäischen und internationalen Sicherheitsstandards beizutragen.
Indien
Das Ministerium für Elektronik und Informationstechnologie führte am 7. Oktober 2024 Konsultationen mit verschiedenen Interessengruppen durch, darunter Meta-Plattformen (Meta), Google, Microsoft, IBM, OpenAI, NASSCOM und Indian Institutes of Technology (IITs), bezüglich der Einrichtung eines KI-Sicherheitsinstituts. Die Entscheidung wurde getroffen, den Fokus von Regulierung auf Standardsetzung, Risikoidentifikation und Schadenserkennung zu verlagern. Minister Ashwini Vaishnaw kündigte am 30. Januar 2025 die Schaffung eines IndiaAI Safety Institute an, um ethische und sichere KI-Anwendungen zu gewährleisten. Das Institut wird die inländische Forschung und Entwicklung fördern, die auf Indiens sozialer, wirtschaftlicher, kultureller und sprachlicher Vielfalt basiert, unter Verwendung indischer Datensätze. Es operiert nach einem „Hub-and-Spoke"-Modell mit akademischen und privaten Partnern, einschließlich IITs und internationalen Organisationen wie der UNESCO.
Japan
Das Japan AISI (J-AISI) wurde im Februar 2024 als Teil der Information Technology Promotion Agency gegründet. Es beschäftigt etwa 23 Personen und besteht aus dem Rat des AISI, dem Lenkungsausschuss des AISI und einem Sekretariat mit sechs Teams. Akiko Murakami, zuvor bei IBM Japan und Sompo Japan, fungiert als Exekutivdirektorin, mit Kenji Hiramoto und Suguru Nishimura als stellvertretenden Exekutivdirektoren.
Kenia
Kenia erklärte sich bereit, dem internationalen Netzwerk von KI-Sicherheitsinstituten beizutreten und wurde damit der einzige afrikanische Staat im Netzwerk, obwohl noch keine spezifischen Details angekündigt wurden.
Singapur
Das Digital Trust Centre, ursprünglich im Juni 2022 gegründet, wurde im Mai 2024 in Singapore AISI umbenannt. Es ist Teil der Nanyang Technological University und arbeitet mit der Infocomm Media Development Authority zusammen, unterstützt durch eine Investition von 10.000.000 Singapur-Dollar pro Jahr.
Südkorea
Südkorea kündigte im Mai 2024 an, ein KI-Sicherheitsinstitut unter dem Electronics and Telecommunications Research Institute zu schaffen. Das Institut wurde im November 2024 gegründet, mit Sitz im Bezirk Bundang, mit einer vorläufigen Investition von 10 bis 20 Millionen südkoreanischen Won pro Jahr und mindestens 30 Mitarbeitern.
Auswirkungen und Vermächtnis
Die Gründung des UK AI Safety Institute setzte einen Präzedenzfall für staatlich unterstützte KI-Sicherheitsbewertung und beeinflusste die Schaffung ähnlicher Einrichtungen weltweit. Seine Entwicklung zum AI Security Institute im Jahr 2025 spiegelte eine Erweiterung des Umfangs wider, um Sicherheitsbedenken über die reine Sicherheit hinaus einzuschließen. Die Arbeit des Instituts hat zur Entwicklung internationaler Standards beigetragen, obwohl Herausforderungen bestehen bleiben, wie Politico im April 2024 anmerkte, als viele KI-Unternehmen keinen Zugang vor der Bereitstellung zu ihren fortschrittlichsten Modellen für Bewertungen geteilt hatten. Nicks Clegg, Präsident für globale Angelegenheiten bei Meta, stellte fest, dass Unternehmen auf gemeinsame Bewertungsregeln und -verfahren warteten, die die britischen und US-amerikanischen Institute zu etablieren versuchten. Das internationale Netzwerk spielt weiterhin eine entscheidende Rolle bei der Koordinierung von KI-Sicherheitsbemühungen, mit regelmäßigen Übungen und Treffen, um aufkommende Herausforderungen in der künstlichen Intelligenz-Governance zu bewältigen.