Machine Intelligence Research Institute(MIRI)는 이전 명칭이 Singularity Institute for Artificial Intelligence(SIAI)였으며, 2005년부터 인공지능으로 인한 잠재적 실존적 위험을 식별하고 관리하는 데 초점을 맞춘 비영리 연구 기관이다. MIRI의 작업은 시스템 설계에 대한 친화적 인공지능 접근 방식과 기술 개발 속도 예측에 중점을 두어 왔다.
2000년 Eliezer Yudkowsky가 설립한 MIRI는 처음에는 인공지능 개발을 가속화하는 것을 목표로 했지만, 초지능 시스템에 대한 우려 이후 위험 관리로 초점을 전환했다. 이 연구소는 캘리포니아주 버클리에 기반을 두고 있으며, 특히 효과적 이타주의 운동 내에서 AI 안전 분야에 영향력을 행사해 왔다.
역사
2000년, Eliezer Yudkowsky는 Brian과 Sabine Atkins의 자금 지원으로 인공지능 개발을 가속화할 목적으로 Singularity Institute for Artificial Intelligence를 설립했다. 그러나 Yudkowsky는 미래에 개발될 AI 시스템이 초지능이 되어 인류에게 위험을 초래할 수 있다는 우려를 갖기 시작했다. 2005년, 연구소는 애틀랜타에서 실리콘밸리로 이전했고, 당시 해당 분야의 과학자들이 대부분 무시했던 이러한 위험을 식별하고 관리하는 방법에 초점을 맞추기 시작했다.
2006년부터 연구소는 AI의 미래와 그 위험을 논의하기 위해 Singularity Summit을 조직했으며, 처음에는 스탠포드 대학교와 협력하고 Peter Thiel의 자금 지원을 받았다. San Francisco Chronicle은 첫 번째 컨퍼런스를 "트랜스휴머니즘이라는 기술 기반 철학을 위한 베이 에어리어의 데뷔 파티"라고 묘사했다. 2011년, 연구소 사무실은 버클리 시내의 아파트 네 채였다. 2012년 12월, 연구소는 이름, 웹 도메인, 그리고 Singularity Summit을 Singularity University에 매각했으며, 다음 달에 "Machine Intelligence Research Institute"라는 이름을 사용하기 시작했다.
2014년과 2015년에는 AI 위험에 대한 대중과 과학계의 관심이 증가하면서 MIRI 및 유사 조직의 연구 자금 지원을 위한 기부가 늘어났다. 2019년, Open Philanthropy는 MIRI에 2년간 약 210만 달러의 일반 지원 보조금을 권장했다. 2020년 4월, Open Philanthropy는 2년간 770만 달러의 보조금을 추가로 지원했다. 2021년, Vitalik Buterin은 수백만 달러 상당의 이더리움을 MIRI에 기부했다.
연구 및 접근 방식
Yudkowsky가 주도하는 MIRI의 AI 위험 식별 및 관리 접근 방식은 주로 친화적 인공지능을 설계하는 방법을 다루며, AI 시스템의 초기 설계와 진화하는 AI 시스템이 친화적으로 유지되도록 보장하는 메커니즘 창출을 모두 포함한다. MIRI 연구자들은 예방 조치로서 조기 안전 작업을 옹호한다. 그러나 MIRI 연구자들은 Ray Kurzweil과 같은 특이점 옹호자들이 주장하는 초지능이 "바로 코앞에 있다"는 견해에 대해 회의적인 입장을 표명해 왔다.
MIRI는 AI Impacts라는 이니셔티브를 통해 예측 작업에 자금을 지원했으며, 이 이니셔티브는 불연속적 기술 변화의 역사적 사례를 연구하고 인간과 컴퓨터 하드웨어의 상대적 계산 능력에 대한 새로운 측정 기준을 개발했다. MIRI는 효과적 이타주의 운동의 원칙과 목표에 동참하고 있다.
주요 발표 자료
MIRI 직원들은 여러 영향력 있는 논문과 책에 기여했다. 주요 저작물은 다음과 같다:
- "Why We Should Be Concerned About Artificial Superintelligence" - Matthew Graves(2017), Skeptic에 게재.
- "Program Equilibrium in the Prisoner's Dilemma via Löb's Theorem" - Patrick LaVictoire, Benja Fallenstein, Eliezer Yudkowsky 외(2014), AAAI-14 Workshop에서 발표.
- "Cheating Death in Damascus" - Nate Soares와 Benjamin A. Levinstein(2017), Formal Epistemology Workshop에서 발표.
- "Corrigibility" - Nate Soares, Benja Fallenstein, Eliezer Yudkowsky, Stuart Armstrong(2015), AAAI Workshops에서 발표.
- "Aligning Superintelligence with Human Interests: A Technical Research Agenda" - Nate Soares와 Benja Fallenstein(2015), The Technological Singularity: Managing the Journey에 게재.
- "Artificial Intelligence as a Positive and Negative Factor in Global Risk" - Eliezer Yudkowsky(2008), Global Catastrophic Risks에 게재.
- "Quantilizers: A Safer Alternative to Maximizers for Limited Optimization" - Jessica Taylor(2016), Thirtieth AAAI Conference on Artificial Intelligence에서 발표.
- "Complex Value Systems in Friendly AI" - Eliezer Yudkowsky(2011), Artificial General Intelligence: 4th International Conference에 게재.
- "If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All" - Eliezer Yudkowsky와 Nate Soares(2025), Hachette에서 출판된 책.
영향 및 평가
MIRI는 AI 안전 분야의 선구자로서, AI로 인한 실존적 위험이 주류 관심사가 되기 전에 이에 대한 주의를 환기시켰다. 이 연구소의 연구는 OpenAI와 Anthropic을 포함한 다른 조직과 연구자들에게 영향을 미쳤다. 그러나 MIRI는 이론적 초점과 과도한 경고성 발언으로 비판을 받기도 했다. 그럼에도 불구하고, 이 연구소의 작업은 Open Philanthropy와 Vitalik Buterin을 포함한 주요 기부자들의 지원을 받았으며, 이는 효과적 이타주의 커뮤니티에서의 영향력을 반영한다.