Ein Institut für Sicherheit künstlicher Intelligenz ist eine Art staatlich unterstützte Organisation, die darauf abzielt, fortschrittliche Modelle künstlicher Intelligenz (KI), auch Frontier-KI-Modelle genannt, zu bewerten und ihre Sicherheit zu gewährleisten. Diese Institute führen in der Regel Tests vor der Bereitstellung durch, entwickeln Bewertungsstandards und arbeiten international zusammen, um Risiken im Zusammenhang mit den leistungsfähigsten KI-Systemen anzugehen. Ihre Gründung spiegelt die wachsende Besorgnis der Regierungen über potenzielle Schäden durch KI wider, einschließlich existenzieller Risiken.
Die Sicherheit künstlicher Intelligenz erlangte 2023 besondere Bedeutung, insbesondere durch öffentliche Erklärungen über potenzielle existenzielle Risiken durch KI. Beim KI-Sicherheitsgipfel im November 2023 gründeten das Vereinigte Königreich und die Vereinigten Staaten jeweils ihr eigenes KI-Sicherheitsinstitut. Beim KI-Gipfel in Seoul im Mai 2024 einigten sich internationale Führungskräfte darauf, ein Netzwerk von KI-Sicherheitsinstituten zu bilden, das Institute aus dem Vereinigten Königreich, den USA, Japan, Frankreich, Deutschland, Italien, Singapur, Südkorea, Australien, Kanada und der Europäischen Union umfasst. Im Jahr 2025 wurde das KI-Sicherheitsinstitut des Vereinigten Königreichs in „AI Security Institute“ umbenannt, und sein US-amerikanisches Pendant wurde zum Center for AI Standards and Innovation (CAISI).
Zeitleiste
Im Jahr 2023 äußerte Rishi Sunak, der Premierminister des Vereinigten Königreichs, seine Absicht, „das Vereinigte Königreich nicht nur zur intellektuellen Heimat, sondern auch zur geografischen Heimat der globalen KI-Sicherheitsregulierung zu machen“ und kündigte Pläne für einen KI-Sicherheitsgipfel an. Er betonte die Notwendigkeit unabhängiger Sicherheitsbewertungen und erklärte, dass KI-Unternehmen nicht „ihre eigenen Hausaufgaben benoten“ könnten. Während des Gipfels im November 2023 wurde das KI-Sicherheitsinstitut des Vereinigten Königreichs offiziell als Weiterentwicklung der Frontier AI Taskforce gegründet, und das US-amerikanische KI-Sicherheitsinstitut als Teil des National Institute of Standards and Technology. Japan folgte im Februar 2024 mit der Einführung eines KI-Sicherheitsinstituts.
Politico berichtete im April 2024, dass viele KI-Unternehmen keinen Zugang vor der Bereitstellung zu ihren fortschrittlichsten KI-Modellen für Bewertungen geteilt hatten. Metas Präsident für globale Angelegenheiten, Nick Clegg, sagte, dass viele KI-Unternehmen darauf warteten, dass die KI-Sicherheitsinstitute des Vereinigten Königreichs und der USA gemeinsame Bewertungsregeln und -verfahren ausarbeiten. Tatsächlich wurde im April 2024 eine Vereinbarung zwischen dem Vereinigten Königreich und den USA geschlossen, um bei mindestens einem gemeinsamen Sicherheitstest zusammenzuarbeiten. Das zunächst in London gegründete KI-Sicherheitsinstitut des Vereinigten Königreichs kündigte im Mai 2024 an, ein Büro in San Francisco zu eröffnen, wo viele KI-Unternehmen ansässig sind. Dies ist Teil eines Plans, „neue, internationale Standards für KI-Sicherheit zu setzen“, so der Technologieminister des Vereinigten Königreichs, Michele Donelan.
Internationales Netzwerk
Beim KI-Gipfel in Seoul im Mai 2024 stimmten die Europäische Union und andere Länder zu, eigene KI-Sicherheitsinstitute zu gründen und ein internationales Netzwerk zu bilden. Dieses Netzwerk erleichtert gemeinsame Forschung, gemeinsame Testübungen und die Harmonisierung von Sicherheitsstandards über Rechtsgebiete hinweg. Im Juli 2025 führte das internationale Netzwerk eine Übung durch, um Probleme bei der Bewertung von KI-Agenten zu untersuchen, insbesondere wenn es um das Durchsickern sensibler Informationen oder Cybersicherheit ging. Netzwerkmitglieder trafen sich auch bei NeurIPS 2025 in der Stadt San Diego.
Spezifische Institute
Australien
Die Regierung Albanese kündigte am 25. November 2025 die Gründung des Australischen KI-Sicherheitsinstituts an. Das Institut ist im Ministerium für Industrie, Wissenschaft und Ressourcen untergebracht und wird durch ein Budget von 29.900.000 australischen Dollar über vier Jahre unterstützt. Sein General Manager ist Kate Conroy, die auch Leiterin für verantwortungsvolle KI bei der Royal Australian Air Force ist.
Kanada
Kanada kündigte im April 2024 an, ein KI-Sicherheitsinstitut zu schaffen, und ein solches Institut wurde offiziell im November 2024 gegründet. Das Institut ist unter Innovation, Science and Economic Development Canada untergebracht, arbeitet jedoch auch mit dem Canadian Institute for Advanced Research (CIFAR) zusammen. Es wird durch ein Budget von 50.000.000 kanadischen Dollar über einen Zeitraum von fünf Jahren unterstützt.
Europäische Union
Das EU-KI-Büro, gegründet im Mai 2024, ist Mitglied des internationalen Netzwerks der KI-Sicherheitsinstitute.
Frankreich
Am 31. Januar 2025 schuf die Regierung Frankreichs das Institut national pour l'évaluation et la sécurité de l'intelligence artificielle (INESIA), oder das Nationale Institut für KI-Bewertung und -Sicherheit.
Indien
Das Ministerium für Elektronik und Informationstechnologie führte am 7. Oktober 2024 Konsultationen mit Meta Platforms, Google, Microsoft, IBM, OpenAI, NASSCOM, Broadband India Forum, Software Alliance, Indian Institutes of Technology (IITs), The Quantum Hub, Digital Empowerment Foundation und Access Now in Bezug auf die Einrichtung des KI-Sicherheitsinstituts durch. Die Entscheidung wurde getroffen, den Fokus von Regulierung auf Standardsetzung, Risikoidentifikation und Schadenserkennung zu verlagern - all dies erfordert interoperable Technologien. Das KI-Sicherheitsinstitut könnte die 20 Crore Rupien, die für die Säule „Safe and Trusted“ der IndiaAI-Mission bereitgestellt wurden, für das anfängliche Budget ausgeben. Zukünftige Mittel könnten aus anderen Komponenten der IndiaAI-Mission stammen.
UNESCO und MeitY begannen ab 2024 mit Konsultationen zur KI-Bereitschaftsbewertungsmethodik unter Sicherheit und Ethik in künstlicher Intelligenz. Ziel ist es, die ethische und verantwortungsvolle Nutzung von KI in der Industrie zu fördern. Die Studie wird Bereiche finden, in denen die Regierung eingreifen kann, insbesondere bei Versuchen, institutionelle und regulatorische Fähigkeiten zu stärken. Minister für Elektronik und Informationstechnologie Ashwini Vaishnaw kündigte am 30. Januar 2025 die Gründung eines IndiaAI-Sicherheitsinstituts an, um die ethische und sichere Anwendung von KI-Modellen zu gewährleisten. Das Institut wird die inländische Forschung und Entwicklung fördern, die auf Indiens sozialer, wirtschaftlicher, kultureller und sprachlicher Vielfalt basiert und auf indischen Datensätzen beruht. Mit Hilfe akademischer und Forschungseinrichtungen sowie Partnern aus dem privaten Sektor wird das Institut den Hub-and-Spoke-Ansatz verfolgen, um Projekte innerhalb der Säule „Safe and Trusted“ der IndiaAI-Mission durchzuführen.
Japan
Das japanische KI-Sicherheitsinstitut (oder J-AISI) wurde im Februar 2024 gegründet. Als Teil der Information Technology Promotion Agency beschäftigt es etwa 23 Personen. Das Institut besteht aus dem Rat des AISI, dem Lenkungsausschuss des AISI und einem Sekretariat mit sechs Teams. Akiko Murakami (zuvor bei IBM Japan und Sompo Japan) fungiert als Exekutivdirektorin des Instituts, und Kenji Hiramoto und Suguru Nishimura dienen als die beiden stellvertretenden Exekutivdirektoren des Instituts.
Kenia
Kenia stimmte zu, dem internationalen Netzwerk der KI-Sicherheitsinstitute beizutreten, hat jedoch noch keine Details bekannt gegeben. Es ist der einzige afrikanische Staat im Netzwerk.
Singapur
Das Digital Trust Centre wurde ursprünglich im Juni 2022 gegründet. Im Mai 2024 wurde es in Singapur-KI-Sicherheitsinstitut umbenannt. Als Teil der Nanyang Technological University arbeitet das Institut mit der Infocomm Media Development Authority zusammen und wird durch eine Investition von 10.000.000 Singapur-Dollar pro Jahr unterstützt.
Südkorea
Südkorea kündigte im Mai 2024 an, ein KI-Sicherheitsinstitut unter dem Dach des Electronics and Telecommunications Research Institute zu schaffen. Es wird durch eine vorläufige Investition von zwischen 10 und 20 Millionen südkoreanischen Won pro Jahr unterstützt und mindestens 30 Personen beschäftigen. Das Institut wurde im November 2024 gegründet und befindet sich im Bezirk Bundang in der Stadt Seongnam.
Bewertung und Standards
Eine Kernfunktion der KI-Sicherheitsinstitute ist die Entwicklung von Bewertungsmethoden für Frontier-Modelle. Diese Bewertungen konzentrieren sich oft auf Fähigkeiten in Bereichen wie große Sprachmodelle, einschließlich Aufgaben im Zusammenhang mit Maschinenlernen-Benchmarks, Cybersicherheitsrisiken und Potenzial für Missbrauch. Die Institute arbeiten auch daran, gemeinsame Standards für Transparenz und Berichterstattung festzulegen, um eine Grundlinie zu schaffen, die KI-Entwickler erfüllen müssen, bevor sie fortschrittliche Systeme freigeben. Dieser kollaborative Ansatz hilft, Doppelarbeit zu vermeiden und stellt sicher, dass Sicherheitsbewertungen über verschiedene nationale Kontexte hinweg konsistent sind.