El Machine Intelligence Research Institute (MIRI), anteriormente Singularity Institute for Artificial Intelligence (SIAI), es un instituto de investigación sin fines de lucro centrado desde 2005 en identificar y gestionar los riesgos existenciales potenciales de la inteligencia artificial. El trabajo de MIRI se ha centrado en un enfoque de IA amigable para el diseño de sistemas y en predecir la tasa de desarrollo tecnológico.
Fundado en 2000 por Eliezer Yudkowsky, MIRI inicialmente buscaba acelerar el desarrollo de la inteligencia artificial, pero cambió su enfoque hacia la gestión de riesgos después de preocupaciones sobre sistemas superinteligentes. El instituto tiene su sede en Berkeley, California, y ha sido influyente en el campo de la seguridad de la IA, particularmente dentro del movimiento de altruismo efectivo.
Historia
En 2000, Eliezer Yudkowsky fundó el Singularity Institute for Artificial Intelligence con financiamiento de Brian y Sabine Atkins, con el propósito de acelerar el desarrollo de la IA. Sin embargo, Yudkowsky comenzó a preocuparse de que los sistemas de IA desarrollados en el futuro pudieran volverse superinteligentes y representar riesgos para la humanidad. En 2005, el instituto se trasladó de Atlanta a Silicon Valley y comenzó a centrarse en formas de identificar y gestionar esos riesgos, que en ese momento eran en gran medida ignorados por los científicos del campo.
A partir de 2006, el instituto organizó la Singularity Summit para discutir el futuro de la IA, incluidos sus riesgos, inicialmente en cooperación con la Universidad de Stanford y con financiamiento de Peter Thiel. The San Francisco Chronicle describió la primera conferencia como una "fiesta de presentación en el Área de la Bahía para la filosofía inspirada en la tecnología llamada transhumanismo". En 2011, sus oficinas eran cuatro apartamentos en el centro de Berkeley. En diciembre de 2012, el instituto vendió su nombre, dominio web y la Singularity Summit a Singularity University, y en el mes siguiente adoptó el nombre de "Machine Intelligence Research Institute".
En 2014 y 2015, el interés público y científico en los riesgos de la IA creció, aumentando las donaciones para financiar la investigación en MIRI y organizaciones similares. En 2019, Open Philanthropy recomendó una subvención de apoyo general de aproximadamente 2,1 millones de dólares durante dos años a MIRI. En abril de 2020, Open Philanthropy complementó esto con una subvención de 7,7 millones de dólares durante dos años. En 2021, Vitalik Buterin donó varios millones de dólares en Ethereum a MIRI.
Investigación y Enfoque
El enfoque de MIRI para identificar y gestionar los riesgos de la IA, liderado por Yudkowsky, aborda principalmente cómo diseñar una IA amigable, cubriendo tanto el diseño inicial de los sistemas de IA como la creación de mecanismos para garantizar que los sistemas de IA en evolución sigan siendo amigables. Los investigadores de MIRI abogan por un trabajo de seguridad temprano como medida de precaución. Sin embargo, los investigadores de MIRI han expresado escepticismo sobre las opiniones de defensores de la singularidad como Ray Kurzweil de que la superinteligencia está "a la vuelta de la esquina".
MIRI ha financiado trabajo de pronóstico a través de una iniciativa llamada AI Impacts, que estudia casos históricos de cambio tecnológico discontinuo, y ha desarrollado nuevas medidas del poder computacional relativo de los humanos y el hardware informático. MIRI se alinea con los principios y objetivos del movimiento de altruismo efectivo.
Publicaciones Notables
El personal de MIRI ha contribuido a varios artículos y libros influyentes. Las obras notables incluyen:
- "Why We Should Be Concerned About Artificial Superintelligence" de Matthew Graves (2017), publicado en Skeptic.
- "Program Equilibrium in the Prisoner's Dilemma via Löb's Theorem" de Patrick LaVictoire, Benja Fallenstein, Eliezer Yudkowsky, et al. (2014), presentado en el AAAI-14 Workshop.
- "Cheating Death in Damascus" de Nate Soares y Benjamin A. Levinstein (2017), presentado en el Formal Epistemology Workshop.
- "Corrigibility" de Nate Soares, Benja Fallenstein, Eliezer Yudkowsky y Stuart Armstrong (2015), presentado en los AAAI Workshops.
- "Aligning Superintelligence with Human Interests: A Technical Research Agenda" de Nate Soares y Benja Fallenstein (2015), publicado en The Technological Singularity: Managing the Journey.
- "Artificial Intelligence as a Positive and Negative Factor in Global Risk" de Eliezer Yudkowsky (2008), publicado en Global Catastrophic Risks.
- "Quantilizers: A Safer Alternative to Maximizers for Limited Optimization" de Jessica Taylor (2016), presentado en la Thirtieth AAAI Conference on Artificial Intelligence.
- "Complex Value Systems in Friendly AI" de Eliezer Yudkowsky (2011), publicado en Artificial General Intelligence: 4th International Conference.
- "If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All" de Eliezer Yudkowsky y Nate Soares (2025), un libro publicado por Hachette.
Impacto y Recepción
MIRI ha sido un pionero en el campo de la seguridad de la IA, atrayendo la atención sobre los riesgos existenciales de la IA antes de que se convirtiera en una preocupación generalizada. Su investigación ha influido en otras organizaciones e investigadores, incluidos los de OpenAI y Anthropic. Sin embargo, MIRI también ha enfrentado críticas por su enfoque teórico y por un supuesto alarmismo. A pesar de esto, su trabajo ha sido apoyado por donantes importantes, incluidos Open Philanthropy y Vitalik Buterin, lo que refleja su influencia en la comunidad de altruismo efectivo.