Das Center for AI Safety (CAIS) ist eine amerikanische Non-Profit-Organisation mit Sitz in San Francisco, die die sichere Entwicklung und Bereitstellung von künstlicher Intelligenz fördert. Die Arbeit von CAIS umfasst Forschung in technischer KI-Sicherheit und KI-Ethik, Interessenvertretung sowie Unterstützung zur Vergrößerung des Forschungsfelds der KI-Sicherheit. Es wurde 2022 von Dan Hendrycks und Oliver Zhang gegründet.
Im Mai 2023 veröffentlichte CAIS die Erklärung zum Risiko des Aussterbens durch KI, die von Hunderten von KI-Professoren, Führungskräften großer KI-Unternehmen und anderen Persönlichkeiten des öffentlichen Lebens unterzeichnet wurde. Die Organisation fungiert als Drehscheibe für Forscher, politische Entscheidungsträger und Industriepartner, die sich auf die Minderung potenzieller Schäden durch fortgeschrittene Systeme der künstlichen Intelligenz konzentrieren.
Forschung
CAIS-Forscher veröffentlichten „An Overview of Catastrophic AI Risks", das Risikoszenarien und Strategien zur Risikominderung detailliert beschreibt. Zu den beschriebenen Risiken gehören der Einsatz von KI in autonomer Kriegsführung oder zur Entwicklung von Pandemien sowie KI-Fähigkeiten zur Täuschung und zum Hacken. Eine weitere Arbeit, die in Zusammenarbeit mit Forschern der Carnegie Mellon University durchgeführt wurde, beschrieb einen automatisierten Weg, um adversariale Angriffe auf große Sprachmodelle zu entdecken, die Sicherheitsmaßnahmen umgehen, und hob die Unzulänglichkeit aktueller Sicherheitssysteme hervor.
Die technische Forschung der Organisation umfasst Bereiche wie Robustheit von maschinellem Lernen, Interpretierbarkeit von neuronalen Netzen und Ausrichtung von Deep-Learning-Systemen. CAIS-Forscher haben auch Fehlermodi in generativer KI untersucht und Rahmenwerke zur Bewertung gefährlicher Fähigkeiten vor der Bereitstellung vorgeschlagen.
Aktivitäten
Im Jahr 2023 erhielt die Erklärung von CAIS zum Risiko des Aussterbens durch KI Unterstützung von Dario Amodei von Anthropic, Sam Altman von OpenAI und anderen Führungskräften der KI-Branche. Im selben Jahr versuchte die Kryptowährungsbörse FTX (die im November 2022 bankrott ging), 6,5 Millionen US-Dollar zurückzufordern, die sie früher im Jahr an CAIS gespendet hatte.
Weitere Initiativen umfassen einen Rechencluster zur Unterstützung der KI-Sicherheitsforschung, einen Online-Kurs mit dem Titel „Intro to ML Safety" sowie ein Stipendium für Philosophieprofessoren zur Bearbeitung konzeptioneller Probleme. Der Center for AI Safety Action Fund ist ein Sponsor des kalifornischen Gesetzesentwurfs SB 1047, des Safe and Secure Innovation for Frontier Artificial Intelligence Models Act.
Interessenvertretung und Politik
CAIS arbeitet mit politischen Entscheidungsträgern auf staatlicher und bundesstaatlicher Ebene zusammen, um Regulierungsrahmen für KI-Systeme an der Spitze der Entwicklung zu fördern. Die Organisation hat Briefings zu Themen wie Sicherheitsbewertungen von Modellen, Verstärkungslernen durch menschliches Feedback und den Risiken von Transformer-basierten Architekturen veröffentlicht. Ihre Interessenvertretung betont die Notwendigkeit von Tests vor der Bereitstellung und Transparenzstandards.
Gemeinschaftsaufbau
Das Zentrum unterstützt das breitere KI-Sicherheitsökosystem durch Zuschüsse, Workshops und Kooperationen mit akademischen Institutionen wie Berkeley AI Research und Oxford University. Es pflegt außerdem ein Verzeichnis von Sicherheitsforschern und organisiert regelmäßige Seminare, die Experten von Google DeepMind, Anthropic und anderen führenden Laboren zusammenbringen.
Siehe auch
Referenzen
Quellenfakten aus Wikipedia (CC BY-SA).
Externe Links
Offizielle Website