Das AI Safety Institute ist eine staatlich unterstützte Organisation, die zur Bewertung und Gewährleistung der Sicherheit fortschrittlicher Modelle der künstlichen Intelligenz (KI) eingerichtet wurde, die oft als Grenz-KI-Modelle bezeichnet werden. Es wurde im November 2023 von der Regierung des Vereinigten Königreichs gegründet und entwickelte sich aus der Frontier AI Taskforce, nachdem der KI-Sicherheitsgipfel im Vereinigten Königreich ausgerichtet worden war. Die Hauptaufgabe des Instituts besteht darin, unabhängige Sicherheitsbewertungen hochmoderner KI-Systeme durchzuführen, mit dem Ziel, internationale Standards für KI-Sicherheit und -Governance zu setzen.
Das Institut erlangte Bekanntheit in einer Zeit erhöhter Besorgnis über KI-Risiken, insbesondere nach öffentlichen Erklärungen im Jahr 2023 über potenzielle existenzielle Bedrohungen durch fortschrittliche KI. Die britische Regierung unter Premierminister Rishi Sunak betonte die Notwendigkeit einer unabhängigen Aufsicht, wobei Sunak erklärte, dass KI-Unternehmen nicht ihre eigenen Hausaufgaben benoten könnten. Dies führte zur Einrichtung des Instituts als eigene Einrichtung für Tests vor der Bereitstellung und Sicherheitsforschung.
Gründung und frühe Aktivitäten
Das AI Safety Institute wurde offiziell während des KI-Sicherheitsgipfels im November 2023 ins Leben gerufen und trat die Nachfolge der Frontier AI Taskforce an. Ursprünglich in London ansässig, kündigte es im Mai 2024 Pläne an, ein Büro in San Francisco zu eröffnen, wo viele führende KI-Unternehmen ihren Hauptsitz haben. Dieser Schritt war Teil einer breiteren Strategie, laut der britischen Technologieministerin Michele Donelan, neue internationale Standards für KI-Sicherheit zu setzen.
Im April 2024 schloss das Institut eine Vereinbarung mit seinem US-amerikanischen Pendant zur Zusammenarbeit bei gemeinsamen Sicherheitstests. Diese Zusammenarbeit zielte darauf ab, Bewertungsverfahren zu harmonisieren, da viele KI-Unternehmen zögerten, Zugang zu ihren fortschrittlichsten Modellen vor der Bereitstellung zu gewähren und auf gemeinsame Regeln warteten. Die Arbeit des Instituts konzentriert sich auf die Bewertung von Modellen großer Entwickler, einschließlich der von OpenAI, Anthropic und Google DeepMind.
Internationales Netzwerk
Das AI Safety Institute wurde nach dem KI-Gipfel in Seoul im Mai 2024 Teil eines breiteren internationalen Netzwerks ähnlicher Einrichtungen. Internationale Führungskräfte vereinbarten, ein Netzwerk zu bilden, das Institute aus dem Vereinigten Königreich, den USA, Japan, Frankreich, Deutschland, Italien, Singapur, Südkorea, Australien, Kanada und der Europäischen Union umfasst. Dieses Netzwerk zielt darauf ab, Sicherheitsbewertungen zu koordinieren und bewährte Verfahren über Rechtsgebiete hinweg auszutauschen.
Im Juli 2025 führte das Netzwerk eine Übung durch, um Probleme bei der Bewertung von KI-Agenten zu untersuchen, insbesondere im Hinblick auf das Durchsickern sensibler Informationen und Cybersicherheit. Netzwerkmitglieder trafen sich auch bei NeurIPS 2025 in San Diego, um die Zusammenarbeit weiter voranzutreiben. Die Bildung des Netzwerks spiegelt die wachsende Erkenntnis wider, dass KI-Sicherheit internationale Zusammenarbeit erfordert, angesichts der globalen Natur der KI-Entwicklung und -Bereitstellung.
Bewertungs- und Forschungsfokus
Die Kernarbeit des Instituts umfasst die Durchführung unabhängiger Bewertungen von Grenz-KI-Modellen vor ihrer öffentlichen Veröffentlichung. Dies beinhaltet die Bewertung von Fähigkeiten in Bereichen wie Leistung großer Sprachmodelle, potenziellem Missbrauch und der Ausrichtung an menschlichen Werten. Das Institut beschäftigt technische Experten, die strenge Tests entwerfen und durchführen, wobei häufig Methoden aus der Maschinenlernforschung verwendet werden.
Ein zentraler Schwerpunkt liegt auf der Identifizierung und Minderung von Risiken, die mit fortschrittlichen KI-Systemen verbunden sind, einschließlich solcher, die mit generativer KI und Deep-Learning-Technologien zusammenhängen. Das Institut erforscht auch Sicherheitsmechanismen wie Reinforcement Learning from AI Feedback (RLAIF) und Modellbereinigung, um zu verstehen, wie diese Techniken das Modellverhalten beeinflussen. Seine Erkenntnisse fließen in die Regierungspolitik ein und tragen zur Entwicklung von Sicherheitsstandards bei, die international übernommen werden können.
Umbenennung und Entwicklung
Im Jahr 2025 wurde das britische AI Safety Institute in AI Security Institute umbenannt, was eine Erweiterung seines Mandats um Sicherheitsbedenken neben der Sicherheit widerspiegelt. Diese Änderung spiegelte eine ähnliche Entwicklung in den USA wider, wo das Pendant zum Center for AI Standards and Innovation (CAISI) wurde. Die Umbenennung signalisierte eine Verschiebung hin zur Behandlung nicht nur unbeabsichtigter Schäden, sondern auch vorsätzlichen Missbrauchs von KI-Systemen.
Trotz der Namensänderung setzt das Institut seine Kernmission fort, Grenz-KI-Modelle zu bewerten und sichere Entwicklungspraktiken zu fördern. Es pflegt enge Verbindungen zu akademischen Einrichtungen und Industriepartnern, einschließlich MIT CSAIL und Stanford AI Lab, um an der Spitze der KI-Sicherheitsforschung zu bleiben. Die Arbeit des Instituts bleibt entscheidend, da sich die KI-Fähigkeiten weiterhin rasant entwickeln.
Auswirkungen und Vermächtnis
Das AI Safety Institute hat eine bedeutende Rolle bei der Gestaltung der globalen KI-Governance gespielt. Seine Gründung markierte einen Meilenstein in der staatlichen Beteiligung an der KI-Aufsicht und ging über die freiwillige Selbstregulierung der Industrie hinaus. Das Modell des Instituts für unabhängige Bewertung wurde von anderen Ländern übernommen und trug zur Schaffung ähnlicher Einrichtungen weltweit bei.
Der Schwerpunkt des Instituts auf Tests vor der Bereitstellung hat beeinflusst, wie KI-Entwickler Sicherheit angehen, und strengere interne Bewertungsprozesse gefördert. Seine kooperativen Bemühungen mit internationalen Partnern haben dazu beigetragen, eine koordiniertere globale Reaktion auf KI-Risiken zu schaffen. Ab 2025 operiert das Institut weiterhin als Schlüsselakteur in der sich entwickelnden Landschaft der KI-Sicherheit und -Sicherung.