Le Center for AI Safety (CAIS) est une organisation américaine à but non lucratif basée à San Francisco qui promeut le développement et le déploiement sûrs de l'intelligence artificielle. Le travail de CAIS englobe la recherche en sécurité technique de l'IA et en éthique de l'IA, le plaidoyer et le soutien pour développer le domaine de la recherche sur la sécurité de l'IA. Il a été fondé en 2022 par Dan Hendrycks et Oliver Zhang.
En mai 2023, CAIS a publié la déclaration sur le risque d'extinction lié à l'IA, signée par des centaines de professeurs d'IA, des dirigeants de grandes entreprises d'IA et d'autres personnalités publiques. L'organisation agit comme un pôle pour les chercheurs, les décideurs politiques et les partenaires industriels axés sur l'atténuation des préjudices potentiels des systèmes d'intelligence artificielle avancés.
Recherche
Les chercheurs de CAIS ont publié « An Overview of Catastrophic AI Risks », qui détaille les scénarios de risque et les stratégies d'atténuation des risques. Les risques décrits incluent l'utilisation de l'IA dans la guerre autonome ou pour l'ingénierie de pandémies, ainsi que les capacités de l'IA en matière de tromperie et de piratage. Un autre travail, mené en collaboration avec des chercheurs de l'Université Carnegie Mellon, a décrit un moyen automatisé de découvrir des attaques adversariales des grands modèles de langage qui contournent les mesures de sécurité, soulignant l'insuffisance des systèmes de sécurité actuels.
La recherche technique de l'organisation couvre des domaines tels que la robustesse du apprentissage automatique, l'interprétabilité des réseaux de neurones et l'alignement des systèmes de apprentissage profond. Les chercheurs de CAIS ont également examiné les modes de défaillance dans l'IA générative et proposé des cadres pour évaluer les capacités dangereuses avant le déploiement.
Activités
En 2023, la déclaration de CAIS sur le risque d'extinction lié à l'IA a obtenu le soutien de Dario Amodei d'Anthropic, de Sam Altman d'OpenAI et d'autres dirigeants de l'industrie de l'IA. La même année, la bourse de cryptomonnaies FTX (qui a fait faillite en novembre 2022) a tenté de récupérer 6,5 millions de dollars qu'elle avait donnés à CAIS plus tôt dans l'année.
D'autres initiatives incluent un cluster de calcul pour soutenir la recherche sur la sécurité de l'IA, un cours en ligne intitulé « Intro to ML Safety » et une bourse pour les professeurs de philosophie afin d'aborder des problèmes conceptuels. Le Center for AI Safety Action Fund est un sponsor du projet de loi californien SB 1047, la loi sur l'innovation sûre et sécurisée pour les modèles d'intelligence artificielle frontières.
Plaidoyer et politique
CAIS collabore avec les décideurs politiques aux niveaux étatique et fédéral pour promouvoir des cadres réglementaires pour les systèmes d'IA frontières. L'organisation a publié des briefings sur des sujets tels que les évaluations de sécurité des modèles, le apprentissage par renforcement à partir de retours humains et les risques des architectures basées sur les transformeurs. Ses efforts de plaidoyer soulignent la nécessité de tests avant déploiement et de normes de transparence.
Construction de la communauté
Le centre soutient l'écosystème plus large de la sécurité de l'IA par le biais de subventions, d'ateliers et de collaborations avec des institutions académiques telles que le Berkeley AI Research et l'Université d'Oxford. Il maintient également un répertoire de chercheurs en sécurité et organise des séminaires réguliers qui rassemblent des experts de Google DeepMind, Anthropic et d'autres laboratoires de premier plan.
Voir aussi
Références
Faits issus de Wikipédia (CC BY-SA).
Liens externes
Site officiel