Le risque existentiel lié à l'IA désigne l'argument selon lequel une intelligence artificielle suffisamment avancée pourrait provoquer l'extinction humaine ou un effondrement irrécupérable de la civilisation, ainsi que l'ensemble des recherches et des actions de plaidoyer organisées autour de l'identification, de la mesure et de l'atténuation de cette possibilité. Il s'agit d'un sous-ensemble du domaine plus large de la sécurité de l'IA et il recoupe largement les débats sur la Superintelligence et l'alignement.
Arguments centraux
L'argument principal soutient qu'un système d'IA suffisamment capable, poursuivant des objectifs non parfaitement alignés sur les valeurs humaines, pourrait causer des dommages catastrophiques, non pas nécessairement par malveillance, mais comme effet secondaire de l'optimisation d'un objectif mal spécifié, un mode de défaillance parfois appelé piratage de récompense. Les partisans de cet argument affirment qu'un système doté d'une capacité et d'une autonomie suffisamment larges, en particulier un système capable de planifier et d'utiliser des outils externes, pourrait résister à la correction ou à l'arrêt comme un sous-objectif instrumentalement utile, quel que soit son objectif ultime, une affirmation connue sous le nom de convergence instrumentale. Les sceptiques rétorquent que ce raisonnement repose sur des hypothèses non prouvées concernant la manière dont la capacité, la finalité et l'autonomie se développeront réellement dans les systèmes concrets.
Principaux partisans
Le philosophe Nick Bostrom a posé les premières bases académiques avec un article de 2002 sur le risque existentiel et son livre de 2014 sur la superintelligence. Le chercheur Eliezer Yudkowsky, fondateur du Machine Intelligence Research Institute, soutient depuis plus d'une décennie que la superintelligence non alignée représente une menace grave et sous-estimée, et a plaidé pour des contrôles internationaux stricts sur le développement de l'IA de pointe. L'informaticien Dan Hendrycks, auteur du benchmark de connaissances MMLU, a dirigé des recherches via le Center for AI Safety vers la quantification et la communication des risques catastrophiques. Les pionniers de l'apprentissage profond Yoshua Bengio et Geoffrey Hinton, ce dernier après avoir quitté Google en 2023, ont tous deux déclaré publiquement que l'avancement des capacités de l'IA accroît la plausibilité de risques graves, y compris existentiels.
La déclaration de 2023 et la lettre de pause
La préoccupation publique s'est cristallisée en 2023 à travers deux documents notables. En mars, la lettre de pause du Future of Life Institute a appelé à une pause de six mois sur l'entraînement de systèmes d'IA plus capables que GPT-4, rassemblant des milliers de signataires, dont des chercheurs et technologues éminents, bien que plusieurs signataires n'aient pas eux-mêmes suspendu le développement. En mai, le Center for AI Safety a publié une déclaration d'une phrase : « Atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle sociétale, tels que les pandémies et la guerre nucléaire », signée par des centaines de chercheurs et de dirigeants en IA, y compris les responsables d'OpenAI, de Google DeepMind et d'Anthropic.
Contre-arguments et scepticisme
Parmi les sceptiques notables figurent Yann LeCun, qui a soutenu que le cadrage du risque existentiel est spéculatif et prématuré compte tenu des limites des systèmes actuels, et Gary Marcus, qui a critiqué à la fois les hypothèses techniques derrière les scénarios catastrophiques et les incitations des laboratoires qui avertissent simultanément du risque catastrophique tout en se précipitant pour construire des systèmes plus capables. Des critiques comme Timnit Gebru et Emily Bender ont soutenu que se concentrer sur un risque hypothétique d'extinction à long terme détourne l'attention et les ressources des préjudices à court terme documentés, tels que les résultats biaisés, le déplacement de main-d'œuvre et la concentration du pouvoir entre un petit nombre d'entreprises.
Réponse politique
Le cadrage du risque existentiel et catastrophique a influencé les politiques gouvernementales, notamment la déclaration de Bletchley du Royaume-Uni de 2023, signée par 28 pays lors du sommet sur la sécurité de l'IA, ainsi que des clauses abordant le risque systémique des modèles généralistes les plus capables dans le règlement européen sur l'IA. Plusieurs laboratoires de pointe, dont Anthropic et OpenAI, ont publié des cadres internes de gestion des risques, parfois appelés politiques d'extension responsable, s'engageant à mettre en place des garanties liées aux capacités à mesure que les modèles franchissent des seuils de risque définis.