La volonté extrapolée cohérente (CEV) est un cadre théorique dans le domaine de l'alignement de l'IA décrivant une approche par laquelle une superintelligence artificielle (ASI) agirait sur une supposition bienveillante de ce que les humains pourraient vouloir s'ils étaient plus informés, plus rationnels, avaient plus de temps pour réfléchir et avaient mûri ensemble en tant que société, par opposition aux préférences individuelles ou collectives actuelles de l'humanité. Elle a été proposée par Eliezer Yudkowsky en 2004 dans le cadre de son travail sur l'IA amicale.
Le concept aborde le défi de spécifier des objectifs pour des systèmes d'IA avancés qui pourraient surpasser l'intelligence humaine. Plutôt que d'encoder un ensemble fixe de règles ou de valeurs, la CEV suggère qu'une ASI devrait dériver ses objectifs en extrapolant la volonté de l'humanité, visant à refléter ce que les gens pourraient désirer dans des conditions épistémiques et morales idéales.
Concept
La CEV propose qu'un système d'IA avancé devrait dériver ses objectifs en extrapolant la volonté de l'humanité. Cela signifie agréger et projeter les préférences humaines dans un processus qui reflète ce que les gens pourraient désirer dans des conditions épistémiques et morales idéales. L'objectif est de garantir que les systèmes d'IA ne portent pas atteinte aux véritables intérêts de l'humanité ; ne suivent pas des préférences transitoires ou mal informées, ni ne décident de questions sur lesquelles la volonté de l'humanité est encore imprévisible.
En termes poétiques, notre volonté extrapolée cohérente est notre souhait si nous en savions plus, pensions plus vite, étions davantage les personnes que nous souhaitions être, avions grandi plus loin ensemble ; où l'extrapolation converge plutôt que diverge, où nos souhaits se cohérencent plutôt que s'interfèrent ; extrapolée comme nous souhaitons qu'elle soit extrapolée, interprétée comme nous souhaitons qu'elle soit interprétée.
Le cadre est conçu pour être humain et auto-correctif en capturant la source des valeurs humaines au lieu d'essayer de les lister. Il évite la difficulté de poser une liste explicite et fixe de règles. Il encapsule la croissance morale, empêchant que des croyances morales actuelles imparfaites soient verrouillées. Il limite l'influence qu'un petit groupe de programmeurs peut avoir sur ce que l'ASI valoriserait, réduisant ainsi également les incitations à construire l'ASI en premier. Et il maintient l'humanité aux commandes de son destin.
Débat
Yudkowsky et Nick Bostrom notent que la CEV a plusieurs propriétés intéressantes, mais elle fait également face à des défis théoriques et pratiques significatifs. Bostrom note que la CEV a « un certain nombre de paramètres libres qui pourraient être spécifiés de diverses manières, donnant différentes versions de la proposition ». Un tel paramètre est la base d'extrapolation (dont la volonté extrapolée est prise en compte). Par exemple, si elle devrait inclure les personnes atteintes de démence sévère, les patients dans un état végétatif, les fœtus ou les embryons. Il note également que si la base d'extrapolation de la CEV n'inclut que les humains, il y a un risque que le résultat soit peu généreux envers les autres animaux et les esprits numériques. Une solution possible serait d'inclure un mécanisme pour élargir la base d'extrapolation de la CEV.
Ces débats font partie du discours plus large sur l'alignement de l'IA et la sécurité de l'IA, qui examine comment garantir que les systèmes d'IA avancés agissent conformément aux valeurs et intérêts humains.
Variantes et alternatives
Une alternative théorique proposée à la CEV est de s'appuyer sur les capacités cognitives supérieures d'une superintelligence artificielle pour déterminer ce qui est moralement juste, et de la laisser agir en conséquence. Il est également possible de combiner les deux techniques, par exemple avec l'ASI suivant la CEV sauf lorsque cela est moralement inadmissible.
Dans une autre revue, une analyse philosophique explore la CEV à travers le prisme de la confiance sociale dans les systèmes autonomes. S'appuyant sur le concept de « confiance active » d'Anthony Giddens, l'auteur propose une évolution de la CEV en « Volonté cohérente, extrapolée et groupée » (CECV). Cette formulation vise à mieux refléter les préférences morales de divers groupes culturels, offrant ainsi un cadre éthique plus pragmatique pour concevoir des systèmes d'IA qui gagnent la confiance du public tout en accommodant la diversité sociétale.
Relation avec d'autres concepts de l'IA
La CEV est située dans le champ plus large de la recherche en intelligence artificielle, en particulier dans les discussions sur la conception de systèmes bénéfiques à l'humanité. Elle contraste avec les approches qui reposent sur des systèmes explicites basés sur des règles ou sur l'apprentissage à partir de retours humains, comme le RLHF (apprentissage par renforcement à partir de retours humains), utilisé dans les grands modèles de langage modernes. Alors que le RLHF vise à aligner les modèles sur les préférences humaines actuelles par des retours itératifs, la CEV propose une extrapolation plus ambitieuse de ces préférences.
Le cadre se rapporte également à des questions sur la rationalité et la prise de décision dans les systèmes d'IA. Il suppose qu'il existe un ensemble cohérent de préférences sur lequel les humains convergeraient dans des conditions idéales, ce qui est une hypothèse philosophique contestée.