L'Institut de recherche sur l'intelligence machine (MIRI), anciennement l'Institut sur la singularité pour l'intelligence artificielle (SIAI), est un institut de recherche à but non lucratif qui se concentre depuis 2005 sur l'identification et la gestion des risques existentiels potentiels liés à l'intelligence artificielle. Les travaux du MIRI se sont concentrés sur une approche de conception de l'IA amicale et sur la prévision du rythme de développement technologique.
Fondé en 2000 par Eliezer Yudkowsky, le MIRI visait initialement à accélérer le développement de l'intelligence artificielle, mais a réorienté ses travaux vers la gestion des risques après avoir exprimé des inquiétudes concernant les systèmes superintelligents. L'institut est basé à Berkeley, en Californie, et a été influent dans le domaine de la sécurité de l'IA, en particulier au sein du mouvement de l'altruisme efficace.
Historique
En 2000, Eliezer Yudkowsky a fondé l'Institut sur la singularité pour l'intelligence artificielle avec le financement de Brian et Sabine Atkins, dans le but d'accélérer le développement de l'IA. Cependant, Yudkowsky a commencé à s'inquiéter du fait que les systèmes d'IA futurs pourraient devenir superintelligents et présenter des risques pour l'humanité. En 2005, l'institut a déménagé de la région d'Atlanta à la Silicon Valley et a commencé à se concentrer sur l'identification et la gestion de ces risques, qui étaient alors largement ignorés par les scientifiques.
À partir de 2006, l'institut a organisé le Sommet de la singularité pour discuter de l'avenir de l'IA et de ses risques, initialement en coopération avec l'université de Stanford et avec le financement de Peter Thiel. Le San Francisco Chronicle a décrit la première conférence comme une « fête de sortie de la baie pour la philosophie inspirée par la technologie appelée transhumanisme ». En 2011, ses bureaux étaient quatre appartements dans le centre-ville de Berkeley. En décembre 2012, l'institut a vendu son nom, son domaine web et le Sommet de la singularité à l'Université de la singularité, et a pris le mois suivant le nom d'« Institut de recherche sur l'intelligence machine ».
En 2014 et 2015, l'intérêt public et scientifique pour les risques de l'IA a augmenté, ce qui a accru les dons pour financer la recherche au MIRI et dans des organisations similaires. En 2019, Open Philanthropy a recommandé une subvention d'environ 2,1 millions de dollars sur deux ans au MIRI. En avril 2020, Open Philanthropy a complété cela par une subvention de 7,7 millions de dollars sur deux ans. En 2021, Vitalik Buterin a fait don de plusieurs millions de dollars en Ethereum au MIRI.
Recherche et approche
L'approche du MIRI pour identifier et gérer les risques de l'IA, dirigée par Yudkowsky, porte principalement sur la conception d'une IA amicale, couvrant à la fois la conception initiale des systèmes d'IA et la création de mécanismes pour garantir que les systèmes d'IA en évolution restent amicaux. Les chercheurs du MIRI préconisent des travaux de sécurité précoces par mesure de précaution. Cependant, ils ont exprimé leur scepticisme quant aux vues des partisans de la singularité comme Ray Kurzweil, selon lesquelles la superintelligence est « imminente ».
Le MIRI a financé des travaux de prévision par le biais d'une initiative appelée AI Impacts, qui étudie les cas historiques de changements technologiques discontinus et a développé de nouvelles mesures de la puissance de calcul relative des humains et du matériel informatique. Le MIRI s'aligne sur les principes et les objectifs du mouvement de l'altruisme efficace.
Publications notables
Le personnel du MIRI a contribué à plusieurs articles et livres influents. Parmi les œuvres notables, on trouve :
- « Why We Should Be Concerned About Artificial Superintelligence » de Matthew Graves (2017), publié dans Skeptic.
- « Program Equilibrium in the Prisoner's Dilemma via Löb's Theorem » de Patrick LaVictoire, Benja Fallenstein, Eliezer Yudkowsky, et al. (2014), présenté à l'atelier AAAI-14.
- « Cheating Death in Damascus » de Nate Soares et Benjamin A. Levinstein (2017), présenté à l'atelier sur l'épistémologie formelle.
- « Corrigibility » de Nate Soares, Benja Fallenstein, Eliezer Yudkowsky et Stuart Armstrong (2015), présenté à l'atelier AAAI.
- « Aligning Superintelligence with Human Interests: A Technical Research Agenda » de Nate Soares et Benja Fallenstein (2015), publié dans The Technological Singularity: Managing the Journey.
- « Artificial Intelligence as a Positive and Negative Factor in Global Risk » d'Eliezer Yudkowsky (2008), publié dans Global Catastrophic Risks.
- « Quantilizers: A Safer Alternative to Maximizers for Limited Optimization » de Jessica Taylor (2016), présenté à la trentième conférence AAAI sur l'intelligence artificielle.
- « Complex Value Systems in Friendly AI » d'Eliezer Yudkowsky (2011), publié dans Artificial General Intelligence: 4th International Conference.
- « If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All » d'Eliezer Yudkowsky et Nate Soares (2025), un livre publié par Hachette.
Impact et réception
Le MIRI a été un pionnier dans le domaine de la sécurité de l'IA, attirant l'attention sur les risques existentiels liés à l'IA avant que cela ne devienne un sujet de préoccupation courant. Ses recherches ont influencé d'autres organisations et chercheurs, notamment ceux d'OpenAI et d'Anthropic. Cependant, le MIRI a également été critiqué pour son orientation théorique et pour son alarmisme perçu. Malgré cela, ses travaux ont été soutenus par d'importants donateurs, notamment Open Philanthropy et Vitalik Buterin, ce qui reflète son influence au sein du mouvement de l'altruisme efficace.