Le Future of Humanity Institute (FHI) était un centre de recherche multidisciplinaire à University of Oxford qui a fonctionné de 2005 à 2024. Il se concentrait sur des questions concernant l'avenir à long terme de l'humanité, avec un accent particulier sur les risques existentiels et le développement de l'intelligence artificielle avancée. Fondé par le philosophe Nick Bostrom, l'institut visait à appliquer une recherche rigoureuse aux défis mondiaux qui pourraient menacer la survie ou le potentiel à long terme de la civilisation humaine.
Le FHI était un pionnier dans le domaine académique des études sur les risques existentiels. Ses travaux combinaient philosophie, mathématiques et informatique pour analyser les dangers potentiels des technologies émergentes, notamment l'IA, la biotechnologie et d'autres domaines. L'institut a également contribué au développement de la recherche sur la sécurité de l'IA avant que ce domaine ne soit largement établi.
Fondation et développement
Le FHI a été créé en 2005 à l'Université d'Oxford, initialement dans le cadre de la James Martin 21st Century School. Il a ensuite été intégré à la Faculté de philosophie de l'université et à la Oxford Martin School. Nick Bostrom en a été le directeur fondateur, et l'institut a grandi pour inclure un groupe multidisciplinaire de chercheurs issus de domaines tels que la philosophie, l'informatique et les sciences politiques. Au cours de ses près de deux décennies, le FHI a attiré des financements d'organisations comme le Future of Life Institute et le Leverhulme Trust, entre autres.
L'institut était notable pour son attention précoce et soutenue au risque existentiel posé par les systèmes d'IA, bien des années avant que des sujets tels que les modèles de langage basés sur les transformeurs et les réseaux neuronaux profonds ne deviennent proéminents dans le monde académique. Ses chercheurs ont été parmi les premiers à affirmer que garantir des résultats bénéfiques de l'IA nécessite une recherche proactive en matière de sécurité et une gouvernance minutieuse.
Contributions clés et domaines de recherche
Le FHI a publié des travaux influents sur le risque lié à l'IA, notamment des articles sur la malédiction de l'unilatéraliste, la sécurité de l'IA par débat et le concept d'« explosion de l'intelligence ». Le livre de Nick Bostrom de 2014, Superintelligence: Paths, Dangers, Strategies, est issu de recherches menées à l'institut et a été largement lu dans la Silicon Valley et parmi les décideurs politiques.
L'institut a également étudié d'autres risques existentiels, tels que la guerre nucléaire, les pandémies et le mauvais usage des technologies de apprentissage automatique. Les chercheurs du FHI ont joué un rôle déterminant dans la formulation du programme de recherche sur le « risque existentiel lié à l'IA », et certains ont ensuite rejoint de grandes organisations d'IA, notamment OpenAI, Anthropic et Google DeepMind, où ils ont appliqué des principes de sécurité à des systèmes réels.
Personnalités notables et partenariats
Le FHI a collaboré avec divers universitaires et institutions à travers le monde. Parmi ses chercheurs figuraient le philosophe Toby Ord, qui a contribué au mouvement de l'altruisme efficace et a écrit sur l'argument de l'apocalypse ; l'économiste et chercheuse en sécurité de l'IA (Kerstin Katherine Deitch) ; et l'informaticien Stuart Russell, entre autres. Ces collaborations ont aidé à garantir que les idées du FHI soient soumises à un examen par les pairs et intégrées dans le discours scientifique plus large.
Notamment, le FHI a travaillé avec des centres interdisciplinaires binaires comme le Centre pour l'étude de l'existentiel sur l'avenir de l'humanité, le Future of Life Institute et le Leverhulme Centre for the Future of Intelligence. Ces partenariats ont facilité la collecte de données, la modélisation et les approches théoriques de la prise de décision pour l'atténuation des risques.
Fermeture et héritage
Le Future of Humanity Institute a cessé ses activités en 2024, sa fermeture ayant été annoncée par Nick Bostrom dans son courriel académique. Les raisons exactes de la fermeture n'ont pas été entièrement divulguées, bien qu'il ait été suggéré que le financement continu de telles unités interdisciplinaires posait des défis après près de vingt ans. La fermeture de l'institut n'efface pas ses effets ; ses recherches sur le risque existentiel et l'IA sûre continuent d'influencer à la fois les pratiques académiques et industrielles.
Aujourd'hui, le concept de risque existentiel est un domaine d'étude accepté dans plusieurs universités, et de nombreux anciens membres du personnel du FHI poursuivent des rôles de recherche dans des organisations axées sur la sécurité. L'accent mis par l'institut sur une analyse prospective et empirique est généralement crédité d'avoir façonné le programme de recherche sur la sécurité de l'IA qui précède la montée spectaculaire des grands modèles de langage.
Perception externe et critiques
Certains critiques ont remis en question le fait que l'accent mis par le FHI sur l'IA transformative néglige des défis sociétaux plus immédiats, tandis que d'autres ont contesté certaines de ses affirmations concernant la probabilité d'extinction. Cependant, un ton général demeure selon lequel le FHI a contribué à légitimer l'idée que le risque catastrophique lié à l'IA mérite une étude académique sérieuse, et ses contributions à l'éthique et aux politiques de l'IA sont généralement considérées comme essentielles.
Références
- Bostrom, Nick. 2019. « Risque existentiel : théorie, domaine et défis ». En dialogue avec Bünger et al.
- Future of Humanity Institute (page officielle à Oxford, archivée).
- Courriel de fermeture de Nick Bostrom, février 2024.