L'UK AI Safety Institute est une organisation soutenue par le gouvernement, créée en 2023 pour faire progresser la science de la sécurité de l'IA et évaluer les risques posés par les systèmes d'intelligence artificielle avancés. Elle opère sous le Department for Science, Innovation and Technology du Royaume-Uni, avec pour mandat de mener des tests pré-déploiement des modèles d'IA frontières et de soutenir le développement de politiques internationales. L'institut a été annoncé lors du sommet sur la sécurité de l'IA tenu à Bletchley Park en novembre 2023, positionnant le Royaume-Uni comme un acteur central dans les efforts mondiaux de gouvernance de l'IA.
La mission principale de l'institut est de réduire les risques associés aux systèmes d'IA les plus capables, y compris ceux basés sur les modèles de langage de grande taille et d'autres technologies d'IA générative. Il travaille en développant des méthodes d'évaluation rigoureuses, en partageant les résultats avec les décideurs politiques et en collaborant avec d'autres organismes nationaux et internationaux. Sa création a suivi des préoccupations croissantes concernant le potentiel de l'IA avancée à causer des dommages à grande échelle, que ce soit par une utilisation abusive, des accidents ou une perte de contrôle.
Fondation et structure
L'institut a été officiellement lancé en novembre 2023, avec son premier président nommé en la personne d'Ian Hogarth, un investisseur technologique et chercheur en IA. Son équipe initiale était issue du monde universitaire, de l'industrie et de la fonction publique, incluant des experts en apprentissage automatique, en sécurité des réseaux de neurones et en politiques publiques. L'institut a son siège à Londres, avec un deuxième bureau ouvert à San Francisco en 2024 pour faciliter une collaboration plus étroite avec les principaux développeurs d'IA tels que OpenAI, Anthropic et Google DeepMind.
Le financement de l'institut provient du gouvernement britannique, avec une allocation initiale de 100 millions de livres sterling annoncée lors de la déclaration d'automne 2023. Le budget soutient les programmes de recherche, les salaires du personnel technique et l'infrastructure informatique, y compris l'accès à des systèmes haute performance pour l'évaluation des modèles. En 2025, l'institut emploie plus de 100 chercheurs et ingénieurs, ce qui en fait l'un des plus grands organismes publics de sécurité de l'IA au monde.
Activités principales
L'institut se concentre sur trois domaines principaux : l'évaluation pré-déploiement, la recherche en sécurité et la coordination internationale. L'évaluation pré-déploiement consiste à tester les modèles frontières avant leur mise à disposition du public, en utilisant une gamme de références qui évaluent les capacités dans des domaines tels que la cyber-offensive, la biosécurité et la prise de décision autonome. Ces évaluations sont conçues pour identifier les capacités dangereuses qui pourraient être utilisées à mauvais escient par des acteurs malveillants.
La recherche en sécurité à l'institut couvre des sujets tels que le élagage de modèles, le RLHF et l'interprétabilité des architectures transformers. Les chercheurs étudient également des modes de défaillance comme l'hallucination (bien que ce ne soit pas un slug répertorié, c'est un problème connu) et le potentiel des modèles à tromper ou manipuler les utilisateurs. L'institut publie des rapports techniques et des articles académiques, contribuant au domaine plus large de l'alignement et de la robustesse de l'IA.
La coordination internationale est une priorité clé. L'institut a contribué à établir le Réseau international des instituts de sécurité de l'IA, lancé en novembre 2024, qui comprend des homologues des États-Unis, du Japon, de Singapour et de l'Union européenne. Ce réseau facilite le partage d'informations sur les méthodologies d'évaluation et les évaluations des risques, visant à créer des normes communes pour la supervision de l'IA frontière.
Évaluations et rapports notables
En 2024, l'institut a mené sa première grande évaluation publique de plusieurs modèles frontières, y compris ceux d'OpenAI, d'Anthropic et de Google DeepMind. Les résultats, publiés dans un rapport intitulé « Advanced AI Evaluations », ont mis en évidence des lacunes dans les mesures de sécurité actuelles, en particulier autour de la planification à long terme et des capacités d'auto-réplication. Le rapport a recommandé aux développeurs de mettre en œuvre des garde-fous plus solides avant de déployer des modèles présentant des caractéristiques à haut risque.
Un autre résultat significatif a été la série « AI Safety in Practice », publiée au début de 2025, qui a fourni des études de cas sur la manière d'atténuer les risques dans les déploiements réels. Ces documents ont été utilisés par les régulateurs de plusieurs pays comme matériel de référence pour la rédaction de lois sur l'IA. L'institut a également contribué au livre blanc sur la réglementation de l'IA du Royaume-Uni, qui a proposé une approche fondée sur des principes pour la supervision de l'IA plutôt qu'un nouveau régulateur unique.
Relations avec l'industrie et le monde académique
L'institut maintient des partenariats formels avec les principaux laboratoires d'IA. Grâce à des mémorandums d'accord, il obtient un accès précoce aux modèles pour les tester, souvent plusieurs semaines avant leur publication publique. En retour, il fournit aux développeurs des retours détaillés sur les vulnérabilités identifiées, les aidant à améliorer la sécurité avant le lancement. Ce modèle a été salué pour son approche collaborative, bien que certains critiques soutiennent qu'il crée des conflits d'intérêts, car l'institut dépend des mêmes entreprises qu'il régule pour l'accès.
Sur le plan académique, l'institut finance des recherches dans des universités telles que l'université d'Oxford et le MIT CSAIL, se concentrant sur des sujets comme l'interprétabilité de l'attention multi-têtes et la conception de fonctions de perte. Il accueille également des chercheurs invités d'institutions comme BAIR et le Stanford AI Lab, favorisant une pollinisation croisée entre les secteurs public et privé. Le conseil consultatif de l'institut comprend des personnalités éminentes telles que Joshua Tenenbaum et Melanie Mitchell, qui fournissent des orientations sur les priorités de recherche.
Défis et critiques
L'institut a été confronté à un examen minutieux de son efficacité. Certains chercheurs soutiennent que ses évaluations sont trop étroites, se concentrant sur des capacités facilement mesurables tout en ignorant les risques systémiques comme la perturbation économique ou la polarisation sociétale. D'autres soulignent la difficulté de suivre le rythme des avancées rapides du apprentissage profond, car les modèles s'améliorent plus vite que les méthodes d'évaluation ne peuvent être mises à jour.
Il existe également des préoccupations concernant l'indépendance de l'institut. Son financement par le gouvernement britannique et ses liens étroits avec l'industrie ont soulevé des questions sur sa capacité à agir comme un véritable chien de garde. En 2025, une commission parlementaire a appelé à une plus grande transparence dans ses processus décisionnels, y compris la publication des données d'évaluation brutes. L'institut a répondu en s'engageant à des audits publics annuels et à des publications open-source de ses boîtes à outils d'évaluation.
Malgré ces défis, l'UK AI Safety Institute reste un effort pionnier dans la gestion des risques de l'IA menée par l'État. Son travail a influencé des initiatives similaires dans d'autres pays, et son modèle collaboratif est considéré comme un modèle pour équilibrer innovation et sécurité dans un paysage technologique en évolution rapide.