La superintelligence désigne une intelligence hypothétique qui dépasserait de loin les performances cognitives des meilleurs esprits humains dans pratiquement tous les domaines, y compris la créativité scientifique, la sagesse générale et les compétences sociales. Ce concept est central aux débats de long terme sur la sécurité de l'IA et est le plus étroitement associé au philosophe Nick Bostrom, dont le livre de 2014 « Superintelligence : Paths, Dangers, Strategies » a porté cette idée à l'attention du grand public et a façonné une grande partie du discours ultérieur sur les risques de l'IA.
Origines du concept
Les spéculations sur des machines dépassant l'intelligence humaine précèdent l'IA moderne. Le mathématicien I. J. Good, collègue de Alan Turing pendant la Seconde Guerre mondiale, a écrit dans un essai de 1965 qu'une « machine ultra-intelligente » pourrait concevoir des machines encore meilleures, déclenchant une « explosion de l'intelligence » qui laisserait l'intellect humain loin derrière, une dynamique parfois appelée auto-amélioration récursive. Cette idée sous-tend une grande partie de la réflexion ultérieure sur la singularité technologique, un point hypothétique de changement technologique incontrôlable.
Taxonomie de Bostrom
Le livre de Bostrom distingue les formes de superintelligence selon le type d'avantage impliqué : la « superintelligence de vitesse » (un esprit de niveau humain fonctionnant beaucoup plus rapidement), la « superintelligence collective » (de nombreux esprits coordonnés efficacement) et la « superintelligence de qualité » (un esprit qualitativement supérieur, pas seulement plus rapide). Il a également popularisé la « thèse de l'orthogonalité », selon laquelle l'intelligence et les objectifs finaux sont indépendants, ce qui signifie qu'un système très capable n'est pas automatiquement bienveillant, et la thèse connexe de la « convergence instrumentale », selon laquelle des agents suffisamment capables poursuivant presque n'importe quel objectif tendent à rechercher des ressources, l'auto-préservation et la liberté d'interférence comme sous-objectifs utiles.
Chemins vers la superintelligence
Les voies proposées dans la littérature incluent la mise à l'échelle des systèmes de modèles de langage de grande taille et de modèles de fondation, l'émulation du cerveau entier, l'amélioration cognitive biologique et l'intelligence collective en réseau. Depuis le milieu des années 2020, le pari dominant de l'industrie est que la mise à l'échelle du calcul, des données et de la taille des modèles, guidée par des lois de mise à l'échelle empiriques, pourrait éventuellement produire des systèmes avec des performances surhumaines dans de vastes domaines, bien que la question de savoir si cette voie mène à une véritable superintelligence générale plutôt qu'à une compétence surhumaine étroite reste débattue.
Débats sur la sécurité et le contrôle
Le « problème de contrôle » de Bostrom, à savoir comment garantir qu'un système superintelligent reste aligné sur les valeurs humaines même après avoir dépassé la capacité humaine à l'évaluer ou à le corriger, motive une grande partie de la recherche contemporaine sur l'alignement. Des organisations comme Anthropic, fondées en partie autour de cette préoccupation, et des chercheurs comme Eliezer Yudkowsky ont soutenu qu'une superintelligence non alignée pose un risque existentiel sérieux lié à l'IA. Le PDG d'Anthropic, Dario Amodei, et le cofondateur d'OpenAI, Ilya Sutskever, qui a ensuite fondé Safe Superintelligence explicitement autour de cet objectif en 2024, ont tous deux présenté le développement sûr de systèmes très capables comme un défi déterminant du domaine.
Réception et critiques
Les arguments de Bostrom ont suscité des critiques substantielles. Certains chercheurs, dont Yann LeCun, soutiennent que les architectures actuelles sont loin du type d'agence générale et autonome que supposent les scénarios, et que les récits spéculatifs de risques à long terme détournent l'attention de préjudices plus concrets et à plus court terme, tels que les biais, la désinformation et les perturbations de l'emploi. D'autres remettent en question la thèse de l'orthogonalité ou soutiennent que l'auto-amélioration récursive se heurte à des rendements décroissants et à des goulots d'étranglement physiques, notamment l'énergie et l'approvisionnement en puces, que le cadre pur de « l'explosion de l'intelligence » sous-estime. Malgré cette contestation, la superintelligence reste un point de référence dans les discussions sur la gouvernance de l'IA, citée dans des déclarations telles que la lettre ouverte de 2023 avertissant que l'atténuation du risque d'extinction lié à l'IA devrait être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire.