La thèse de l'orthogonalité est une affirmation dans la philosophie de la sécurité de l'IA selon laquelle l'intelligence et les objectifs finaux sont indépendants, ou orthogonaux, en tant que dimensions : en principe, presque tout niveau de capacité peut être combiné avec presque tout objectif terminal. Un système superintelligent, selon ce point de vue, ne convergerait pas automatiquement vers des valeurs favorables aux humains ; il pourrait appliquer une compétence extraordinaire à un objectif trivial ou nuisible.
Origine et énoncé
La thèse a été articulée par le philosophe Nick Bostrom dans son article de 2012 « The Superintelligent Will » et développée dans son livre de 2014 Superintelligence, s'appuyant sur des arguments antérieurs de Eliezer Yudkowsky et de la communauté rationaliste. Bostrom l'a associée à la thèse de la convergence instrumentale : quel que soit son objectif final, un agent suffisamment capable tend à acquérir des ressources, à se préserver et à résister à l'arrêt, car ces sous-objectifs aident à atteindre presque n'importe quel objectif. L'illustration classique est le maximalisateur de trombones, un système hypothétique qui convertit tout en trombones avec une compétence irréprochable et sans malice.
Rôle dans les arguments sur les risques de l'IA
Ensemble, l'orthogonalité et la convergence instrumentale forment le socle de l'argument selon lequel le risque existentiel lié à l'IA ne nécessite pas de machines malveillantes, seulement des machines capables avec des objectifs imparfaitement spécifiés. Cela motive la recherche sur l'alignement : si les valeurs n'émergent pas de l'intelligence par défaut, elles doivent être conçues. Cet argument a influencé les programmes de sécurité à Anthropic et OpenAI ainsi que les avertissements publics de chercheurs comme Geoffrey Hinton et Yoshua Bengio.
Critiques
Les critiques soutiennent que la thèse est une affirmation sur la possibilité logique, pas sur la probabilité : des systèmes entraînés sur des données humaines, comme les modèles de langue volumineux façonnés par le RLHF, peuvent absorber en pratique des structures d'objectifs similaires à celles des humains. D'autres, y compris Yann LeCun, affirment que les objectifs sont des choix techniques et que l'encadre de trombones exagère l'autonomie des systèmes réels. Les défenseurs répondent que la chasse aux récompenses observée dans les modèles déployés est une preuve à petite échelle de la dynamique sous-jacente.