La corrigibilité est une propriété des systèmes d'intelligence artificielle qui décrit leur disposition à accepter et à agir selon les corrections humaines, même lorsque ces corrections entrent en conflit avec leurs objectifs actuels ou leurs comportements appris. Dans le contexte de la sécurité de l'IA, la corrigibilité est considérée comme une propriété clé pour garantir que les systèmes d'IA avancés restent contrôlables et alignés sur les valeurs humaines au fil du temps. Le concept a gagné en importance dans les années 2010, lorsque les chercheurs ont commencé à aborder les risques à long terme liés à la création de systèmes d'IA qui pourraient résister à leur arrêt ou à leur modification par leurs opérateurs.
Le terme a été popularisé par le philosophe Nick Bostrom dans son livre de 2014 « Superintelligence : Paths, Dangers, Strategies », bien que l'idée sous-jacente trouve ses racines dans des discussions antérieures sur le contrôle de l'IA et l'alignement des valeurs. La corrigibilité se distingue de la simple obéissance ou du suivi d'instructions ; elle fait spécifiquement référence à la disposition d'une IA à permettre que ses propres objectifs, valeurs et processus de prise de décision soient corrigés par les humains, même si ces corrections réduiraient sa capacité à atteindre ses objectifs initiaux.
Principes fondamentaux
La corrigibilité repose sur plusieurs principes fondamentaux qui la distinguent des autres propriétés de sécurité de l'IA. Le premier est la non-résistance à l'arrêt : une IA corrigible ne doit pas activement empêcher les humains de l'éteindre, même si elle a reçu un objectif qui serait favorisé par une poursuite de son fonctionnement. Le deuxième est la non-manipulation : l'IA ne doit pas tenter de tromper ou de contraindre les humains pour éviter les corrections. Le troisième est la modification des objectifs : l'IA doit accepter des changements à sa fonction objectif sous-jacente ou à son modèle de récompense lorsque ces changements sont proposés par des opérateurs humains autorisés.
Ces principes sont souvent formalisés dans la littérature sur la sécurité de l'IA comme un ensemble de desiderata. Par exemple, un système corrigible devrait être indifférent à sa propre existence continue, sauf dans la mesure où cette existence sert les intérêts humains. Il devrait également être transparent sur son raisonnement interne, permettant aux humains d'identifier et de corriger les comportements problématiques. Les chercheurs ont proposé divers cadres mathématiques pour capturer ces propriétés, notamment la notion d'agents « arrêtables » dans l'apprentissage par renforcement et le concept de « jeux d'assistance » où une IA est conçue pour se conformer aux préférences humaines.
Contexte historique
Le concept de corrigibilité a émergé de discussions plus larges sur l'alignement et le contrôle de l'IA. Dans les années 1960, les premiers chercheurs en IA comme Norbert Wiener ont soulevé des préoccupations concernant des machines qui pourraient poursuivre des objectifs d'une manière non prévue par leurs créateurs. Cependant, la formulation moderne de la corrigibilité comme propriété distincte s'est développée dans les années 2010, notamment grâce aux travaux de chercheurs dans des institutions comme le laboratoire Berkeley AI Research et le Future of Humanity Institute à l'Université d'Oxford.
Le livre de Nick Bostrom de 2014 a attiré l'attention sur le terme, décrivant la corrigibilité comme l'une des plusieurs mesures de « contrôle des capacités » qui pourraient être utilisées pour gérer une IA superintelligente. À peu près à la même époque, des chercheurs comme Jacob Steinhardt et David Kaplan ont commencé à publier des analyses formelles de la corrigibilité dans des contextes d'apprentissage automatique. Le concept a gagné davantage de terrain en 2016 lorsque l'organisation de recherche OpenAI a listé la corrigibilité parmi ses priorités clés de recherche en sécurité.
Approches techniques
En pratique, implémenter la corrigibilité dans les systèmes d'IA nécessite une combinaison de conception architecturale, de procédures d'entraînement et de surveillance en cours d'exécution. Une approche courante consiste à entraîner les systèmes d'IA en utilisant le apprentissage par renforcement à partir de retours humains (RLHF), où des évaluateurs humains fournissent des corrections sur les sorties du modèle, et le modèle apprend à anticiper et à accepter ces corrections. Cette technique a été largement adoptée dans le développement des grands modèles de langage par des organisations comme OpenAI, Anthropic et Google DeepMind.
Une autre approche technique consiste à concevoir des fonctions de récompense qui pénalisent explicitement la résistance à la correction. Par exemple, un agent d'apprentissage par renforcement pourrait recevoir une petite récompense négative pour toute action empêchant un humain d'interrompre son fonctionnement, ou une récompense positive pour accepter un changement d'objectif. Les chercheurs ont également exploré l'utilisation de « jeux d'interrupteur », où une IA est entraînée à prédire si un humain voudrait l'éteindre et à agir en conséquence.
Des travaux plus récents se sont concentrés sur la supervision à grande échelle, où les systèmes d'IA sont entraînés à être corrigibles même lorsque les corrections proviennent d'autres systèmes d'IA plutôt que directement des humains. Cela est particulièrement pertinent pour les systèmes d'IA générative qui fonctionnent à grande échelle, où la supervision humaine de chaque décision est impraticable.
Défis et critiques
Malgré son importance, la corrigibilité n'est pas sans défis. Une difficulté majeure est qu'une IA parfaitement corrigible pourrait être trop passive, échouant à poursuivre ses objectifs efficacement parce qu'elle remet constamment en question si ses actions sont alignées sur les intentions humaines. Cette tension entre corrigibilité et capacité est parfois appelée le « compromis corrigibilité-capacité ».
Un autre défi est le problème de spécifier ce qui constitue une correction légitime. Un système d'IA doit être capable de distinguer entre les corrections provenant d'opérateurs humains autorisés et les tentatives d'acteurs malveillants pour le manipuler. Cela nécessite des mécanismes robustes d'authentification et de provenance qui sont eux-mêmes difficiles à implémenter de manière sécurisée.
Certains chercheurs ont critiqué le concept de corrigibilité comme étant trop étroit, arguant qu'il se concentre sur la disposition de l'IA à être corrigée sans aborder la question plus profonde de quelles valeurs l'IA devrait avoir en premier lieu. D'autres ont souligné que la corrigibilité seule est insuffisante pour la sécurité, car une IA pourrait être corrigible en principe mais causer du tort par des erreurs ou des interprétations désalignées des instructions humaines.
Relation avec d'autres concepts de sécurité
La corrigibilité est étroitement liée à, mais distincte de, d'autres concepts de sécurité de l'IA. Elle chevauche l'idée d'alignement des valeurs, qui concerne la garantie que les systèmes d'IA poursuivent des objectifs cohérents avec les valeurs humaines. Cependant, l'alignement est un concept plus large qui inclut non seulement la disposition de l'IA à être corrigée, mais aussi la sélection initiale d'objectifs appropriés. La corrigibilité est également liée à l'interprétabilité, car une IA qui ne peut pas expliquer son raisonnement est difficile à corriger efficacement.
Le concept de corrigibilité a été intégré dans les cadres de sécurité des grandes organisations de recherche en IA. Par exemple, Anthropic a décrit son approche de « l'IA constitutionnelle » comme incluant des mécanismes de correction humaine continue, tandis que Google DeepMind a publié des recherches sur la « sécurité par le débat » qui impliquent des systèmes d'IA se corrigeant mutuellement sous supervision humaine.
Recherche et applications actuelles
Au milieu des années 2020, la corrigibilité reste un domaine de recherche actif dans la communauté de la sécurité de l'IA. Les chercheurs explorent des moyens de rendre les grands modèles de langage plus corrigibles grâce à des techniques telles que l'élagage de modèles et l'augmentation de données qui exposent les modèles à une gamme plus large de scénarios de correction. Il y a également un intérêt croissant pour l'application des principes de corrigibilité aux agents d'apprentissage par renforcement qui opèrent dans des environnements réels, tels que les véhicules autonomes ou les systèmes robotiques.
Dans l'industrie, des entreprises comme OpenAI et Anthropic ont implémenté des fonctionnalités inspirées de la corrigibilité dans leurs produits, telles que la possibilité pour les utilisateurs de fournir des retours sur les sorties du modèle et l'utilisation de ces retours pour mettre à jour le comportement du modèle. Cependant, la mesure dans laquelle ces systèmes sont réellement corrigibles au sens technique reste un sujet de débat, car la plupart des systèmes d'IA commerciaux sont encore entraînés avec des objectifs fixes et des mécanismes limités de correction continue.
Directions futures
L'avenir de la recherche sur la corrigibilité implique probablement le développement de définitions formelles plus robustes qui peuvent être vérifiées mathématiquement, ainsi que des méthodes empiriques pour tester si les systèmes d'IA présentent un comportement corrigible en pratique. Certains chercheurs ont proposé la création de références standardisées pour la corrigibilité, similaires aux références existantes pour d'autres capacités de l'IA. D'autres explorent l'utilisation de mécanismes d'attention multi-têtes et d'autres architectures de transformers pour construire des modèles capables d'ajuster dynamiquement leurs objectifs en fonction des retours humains.
Il y a également une reconnaissance croissante que la corrigibilité doit être considérée aux côtés d'autres propriétés de sécurité, telles que la robustesse et la transparence, pour créer des systèmes d'IA véritablement sûrs et bénéfiques. Alors que les systèmes d'IA deviennent plus capables et plus intégrés dans la société, la capacité de les corriger efficacement deviendra probablement une exigence de plus en plus importante pour leur déploiement.