Le red teaming, appliqué à l'IA, est la pratique consistant à sonder délibérément un modèle ou un système pour détecter des comportements nuisibles, dangereux, biaisés ou autrement indésirables, généralement avant le déploiement public, afin de trouver et de corriger les problèmes à l'avance. Le terme trouve son origine dans les pratiques militaires et de cybersécurité, où une équipe rouge joue le rôle d'un adversaire contre une équipe bleue défendant un système ; les laboratoires d'IA ont adopté ce cadre pour décrire les tests adversariaux systématiques des modèles, tant pour les risques à court terme, comme les sorties toxiques ou biaisées, que pour les risques plus graves, comme aider à générer des informations sur les armes, permettre des cyberattaques ou adopter un comportement trompeur.
Le red teaming est devenu une pratique standard, et dans certaines juridictions une attente légale, du cycle de développement de l'IA à partir d'environ 2022 à 2023, alors que des laboratoires comme OpenAI et Anthropic publiaient des détails sur leurs processus de red teaming et que les gouvernements commençaient à y faire référence dans leurs politiques.
Méthodes
Les méthodes de red teaming en IA vont du manuel au entièrement automatisé. Le red teaming manuel emploie des testeurs humains, parfois des experts de domaines tels que la biosécurité, la cybersécurité ou la protection de l'enfance, qui tentent de manière créative d'obtenir des sorties nuisibles en utilisant des techniques comme les jailbreaks et l'injection de prompt. Le red teaming automatisé utilise un autre modèle d'IA, ou un algorithme de recherche, pour générer de grands volumes de prompts adversariaux et identifier ceux qui réussissent, permettant une couverture bien au-delà de ce que les testeurs humains seuls pourraient atteindre. Le red teaming externe fait appel à des chercheurs indépendants ou à des firmes spécialisées sans intérêt dans un résultat positif, destiné à révéler des problèmes qu'une équipe interne pourrait manquer ou hésiter à signaler.
Pratique dans les grands laboratoires
Anthropic, OpenAI et Google DeepMind ont chacun publié des méthodologies de red teaming et, dans certains cas, des résultats dans le cadre de la documentation de sortie des modèles, souvent appelée cartes système. La sortie de GPT-4 d'OpenAI en 2023 comprenait une section de red teaming décrivant des tests de capacités dangereuses telles que l'assistance à la fabrication d'armes biologiques et l'utilisation abusive en cybersécurité, menés en partie par des experts externes en accès anticipé. Les instituts de sécurité de l'IA affiliés aux gouvernements, établis après le sommet de Bletchley Park en 2023, ont commencé à mener leurs propres évaluations de red teaming avant déploiement des modèles de pointe des grands laboratoires sur une base volontaire, testant en particulier les risques liés à la sécurité nationale.
Relation avec d'autres pratiques de sécurité
Le red teaming est généralement compris comme un complément, plutôt qu'un remplacement, d'autres travaux de sécurité de l'IA : il trouve des problèmes après qu'ils sont déjà présents dans un modèle ou un système, tandis que des techniques comme le RLHF et l'IA constitutionnelle visent à façonner le comportement pendant l'entraînement, et les garde-fous ajoutent des défenses en temps d'exécution. Les conclusions des exercices de red teaming alimentent généralement d'autres formations, des garde-fous supplémentaires ou, dans certains cas documentés, des décisions de retarder ou de restreindre la sortie d'un modèle. Les critiques ont noté que la couverture du red teaming est nécessairement incomplète, car les testeurs ne peuvent pas anticiper tous les usages abusifs possibles, et que l'utilité de la pratique dépend fortement de la manière dont les conclusions sont prises au sérieux plutôt que simplement documentées à des fins de conformité.