L'IA constitutionnelle (CAI) est une méthode d'entraînement des grands modèles de langage à être utiles et inoffensifs, dans laquelle le modèle critique et révise ses propres réponses selon un ensemble écrit de principes, appelé constitution, plutôt que de s'appuyer principalement sur le retour humain pour chaque exemple de comportement indésirable. Elle a été introduite par Anthropic dans un article de décembre 2022, « Constitutional AI: Harmlessness from AI Feedback », et est devenue une méthode d'entraînement centrale derrière la famille de modèles Claude.
Méthode
La technique se déroule en deux étapes. Dans l'étape supervisée, le modèle génère une réponse à une invite, critique sa propre réponse par rapport aux principes de la constitution, et réécrit la réponse pour mieux les satisfaire ; cette boucle d'auto-critique et de révision produit un ensemble de données utilisé pour un ajustement fin supervisé. Dans l'étape d'apprentissage par renforcement, le modèle compare des paires de ses propres réponses et juge laquelle suit le mieux la constitution, générant un ensemble de données de préférences qui entraîne un modèle de récompense, un processus qu'Anthropic a appelé apprentissage par renforcement à partir du retour de l'IA, ou RLAIF. Ce modèle de récompense est ensuite utilisé pour ajuster finement le modèle avec un apprentissage par renforcement, une structure qui parallélise RLHF mais remplace de nombreuses étiquettes de préférences fournies par des humains par des étiquettes générées par l'IA.
Motivation
Les chercheurs d'Anthropic, y compris le cofondateur Jared Kaplan, ont soutenu que le RLHF pur présente deux faiblesses : il nécessite de grands volumes de travail humain pour examiner les sorties nuisibles, un travail lent et pouvant exposer les annotateurs à un contenu pénible, et il encode uniquement des jugements implicites et non écrits plutôt qu'une norme écrite vérifiable. Une constitution, en revanche, peut être inspectée, débattue et révisée indépendamment des préférences de tout annotateur individuel, et le même document peut être réutilisé à travers les cycles d'entraînement. Dario Amodei, le directeur général d'Anthropic, a présenté l'approche comme faisant partie d'un pari plus large selon lequel étendre des modèles capables en toute sécurité nécessite des méthodes qui ne dépendent pas de quantités toujours plus grandes de révision humaine.
La constitution
Les principes de la constitution originale d'Anthropic s'inspirent de plusieurs sources, notamment la Déclaration universelle des droits de l'homme des Nations Unies, les normes de confiance et de sécurité d'autres entreprises technologiques, et des instructions visant à maintenir le modèle non évasif et attentif aux perspectives en dehors d'un défaut occidental étroit. Anthropic a publié des révisions successives de la constitution de Claude et la décrit comme un document évolutif plutôt qu'une spécification fixe.
Relation avec l'alignement et la sécurité
L'IA constitutionnelle est l'une des plusieurs techniques que les chercheurs utilisent pour poursuivre l'alignement entre le comportement d'un modèle et les intentions de ses concepteurs, aux côtés du RLHF simple et de l'optimisation directe des préférences. Les partisans soutiennent qu'elle améliore l'évolutivité, car le retour généré par l'IA peut être produit beaucoup plus rapidement que le retour humain, et améliore la transparence, car la constitution elle-même peut être lue et critiquée par des personnes extérieures. Elle est également présentée comme une réponse partielle au détournement de récompense, en raisonnant que fonder les préférences sur des principes écrits explicites rend plus difficile pour un modèle de satisfaire un signal de récompense tout en violant l'esprit de l'objectif sous-jacent.
Critiques
Les critiques ont soulevé plusieurs objections. Parce que le modèle utilisé pour critiquer et réviser les réponses s'appuie sur les mêmes capacités générales que le modèle en cours d'entraînement, certains chercheurs se demandent si le retour de l'IA peut détecter des échecs qu'un superviseur humain de compétence comparable manquerait, en particulier à mesure que les modèles approchent ou dépassent les performances humaines sur les tâches jugées. D'autres notent que le choix des principes à inclure, et la manière de résoudre les conflits entre eux, reste une décision prise par une seule entreprise, donc la méthode ne règle pas en soi les disputes sur les valeurs qu'un système d'IA devrait refléter. L'IA constitutionnelle ne supprime pas non plus le besoin de tests d'intrusion et d'autres mécanismes de garde-fous, car un principe écrit peut toujours être contourné par des invites adverses telles qu'un détournement.
Héritage
Le modèle d'auto-critique derrière l'IA constitutionnelle a influencé des recherches ultérieures sur l'utilisation de modèles pour superviser ou évaluer d'autres modèles, parfois appelée évaluation LLM-en-tant-que-juge, et elle reste l'un des exemples les plus cités d'un laboratoire de pointe publiant une méthodologie d'alignement détaillée plutôt que de la garder comme secret commercial.