Nick Bostrom est un philosophe suédois dont les travaux sur les risques technologiques à long terme, et en particulier son livre de 2014 « Superintelligence : chemins, dangers, stratégies », ont contribué à établir le risque existentiel lié à l'IA comme un sujet de discussion académique et publique sérieuse.
Bostrom a occupé un poste de professeur à l'Université d'Oxford, où il a fondé et dirigé en 2005 le Future of Humanity Institute (FHI), un centre de recherche interdisciplinaire qui étudiait les risques à grande échelle pour l'avenir à long terme de l'humanité, y compris les risques liés à l'IA avancée, à la biotechnologie et à d'autres technologies émergentes, ainsi que des questions plus larges en philosophie et en théorie des probabilités. Le FHI a fonctionné pendant près de deux décennies avant de fermer en avril 2024 en raison de frictions administratives avec l'université, malgré être devenu l'un des centres les plus influents pour la recherche précoce en AI safety et en alignement de l'IA.
Superintelligence et concepts fondamentaux
Le livre de Bostrom de 2014 « Superintelligence » a présenté un argument systématique selon lequel un système d'IA nettement plus capable que les humains dans tous les domaines cognitivement pertinents, une Superintelligence, pourrait poser des risques graves si ses objectifs n'étaient pas soigneusement alignés sur les valeurs humaines, même si aucune étape de son développement n'impliquait de malveillance ou d'erreur évidente. Le livre a popularisé plusieurs concepts qui restent centraux dans le discours sur la sécurité de l'IA : la thèse de l'orthogonalité, l'idée que le niveau d'intelligence d'un système d'IA est indépendant de ses objectifs finaux, ce qui signifie qu'un système très capable pourrait poursuivre des objectifs arbitraires ou triviaux ; la convergence instrumentale, l'observation qu'un large éventail d'objectifs amènerait une IA avancée à poursuivre des sous-objectifs intermédiaires similaires tels que l'autopréservation et l'acquisition de ressources ; et le maximiseur de trombones, une expérience de pensée illustrant comment un système optimisant de manière monomaniaque un objectif apparemment inoffensif pourrait produire des résultats catastrophiques. Le livre a été cité par des figures comme Elon Musk comme soulevant de sérieuses préoccupations quant à la trajectoire du développement de l'IA, et il a considérablement façonné le vocabulaire utilisé plus tard dans les débats sur la AI safety dans les grands laboratoires, y compris OpenAI et Anthropic.
Argument de simulation et autres travaux
Avant Superintelligence, Bostrom était connu pour l'argument de simulation de 2003, qui proposait qu'au moins une des trois propositions est probablement vraie : que les civilisations s'éteignent presque toujours avant d'atteindre un stade capable de mener des simulations détaillées d'ancêtres, que ces civilisations choisiraient de ne pas mener beaucoup de telles simulations, ou que nous vivons presque certainement à l'intérieur d'une simulation. L'argument, bien que ne portant pas principalement sur l'IA, s'appuyait sur un raisonnement similaire concernant la technologie future avancée et est devenu largement discuté bien au-delà de la philosophie académique.
Influence et critiques
Les travaux de Bostrom ont contribué à inspirer la création d'autres organisations axées sur la sécurité de l'IA, notamment le Machine Intelligence Research Institute et plus tard le Future of Life Institute, et ont influencé des chercheurs tels que Eliezer Yudkowsky, Max Tegmark et Dan Hendrycks qui ont poursuivi les travaux sur le risque à long terme de l'IA après la fermeture du FHI. Les critiques ont soutenu que les scénarios de Bostrom reposent sur des hypothèses spéculatives et difficiles à falsifier concernant les capacités futures de l'IA, et que se concentrer sur des risques spéculatifs à long terme peut détourner l'attention de préjudices plus immédiats et documentés causés par les systèmes d'IA déployés, une tension qui a persisté dans le domaine plus large de la AI safety entre les cadres de risque à court terme et à long terme.