Machine Intelligence Research Institute（MIRI）は、かつてSingularity Institute for Artificial Intelligence（SIAI）として知られていた非営利研究機関であり、2005年以降、人工知能による潜在的な実存的リスクの特定と管理に焦点を当てている。MIRIの活動は、システム設計におけるフレンドリーAIのアプローチと、技術開発の速度の予測に重点を置いてきた。
2000年にEliezer Yudkowskyによって設立されたMIRIは、当初は人工知能の発展を加速することを目的としていたが、超知能システムに関する懸念からリスク管理に焦点を移した。この機関はカリフォルニア州バークレーに拠点を置き、AI安全性の分野、特に実効的利他主義運動において影響力を持ってきた。
歴史
2000年、Eliezer YudkowskyはBrianとSabine Atkinsからの資金提供を受けてSingularity Institute for Artificial Intelligenceを設立し、AIの発展を加速することを目的とした。しかし、Yudkowskyは将来開発されるAIシステムが超知能化し、人類にリスクをもたらす可能性があると懸念し始めた。2005年、この機関はアトランタからシリコンバレーに移転し、当時この分野の科学者たちにほとんど無視されていたリスクの特定と管理の方法に焦点を当て始めた。
2006年から、この機関はAIの未来とそのリスクを議論するSingularity Summitを開催し、当初はスタンフォード大学と協力し、Peter Thielからの資金提供を受けた。サンフランシスコ・クロニクルは、最初の会議を「テックに触発された哲学であるトランスヒューマニズムのためのベイエリアのデビューパーティー」と評した。2011年、そのオフィスはバークレー中心部の4つのアパートにあった。2012年12月、この機関はその名称、ウェブドメイン、およびSingularity SummitをSingularity Universityに売却し、翌月に「Machine Intelligence Research Institute」という名称を採用した。
2014年と2015年には、AIのリスクに対する公的および科学的な関心が高まり、MIRIや類似組織での研究を資金提供するための寄付が増加した。2019年、Open PhilanthropyはMIRIに対して2年間で約210万ドルの一般支援助成金を推奨した。2020年4月、Open Philanthropyはこれを補足し、2年間で770万ドルの助成金を追加した。2021年、Vitalik Buterinは数百万ドル相当のイーサリアムをMIRIに寄付した。
研究とアプローチ
Yudkowskyが主導するMIRIのAIリスクの特定と管理へのアプローチは、主にフレンドリーAIの設計方法に対処しており、AIシステムの初期設計と、進化するAIシステムがフレンドリーであり続けることを保証するメカニズムの作成の両方を対象としている。MIRIの研究者は、予防措置として早期の安全性研究を提唱している。しかし、MIRIの研究者は、超知能が「すぐそこにある」というRay Kurzweilなどのシンギュラリティ提唱者の見解に対して懐疑的な姿勢を示している。
MIRIは、AI Impactsと呼ばれるイニシアチブを通じて予測研究に資金を提供しており、これは不連続な技術変化の歴史的事例を研究し、人間とコンピューターハードウェアの相対的な計算能力の新しい尺度を開発してきた。MIRIは、実効的利他主義運動の原則と目的に沿った立場を取っている。
注目すべき出版物
MIRIのスタッフは、いくつかの影響力のある論文や書籍に貢献してきた。注目すべき作品には以下が含まれる：
- 「Why We Should Be Concerned About Artificial Superintelligence」Matthew Graves著（2017年）、Skepticに掲載。
- 「Program Equilibrium in the Prisoner's Dilemma via Löb's Theorem」Patrick LaVictoire、Benja Fallenstein、Eliezer Yudkowsky他著（2014年）、AAAI-14ワークショップで発表。
- 「Cheating Death in Damascus」Nate SoaresとBenjamin A. Levinstein著（2017年）、Formal Epistemology Workshopで発表。
- 「Corrigibility」Nate Soares、Benja Fallenstein、Eliezer Yudkowsky、Stuart Armstrong著（2015年）、AAAIワークショップで発表。
- 「Aligning Superintelligence with Human Interests: A Technical Research Agenda」Nate SoaresとBenja Fallenstein著（2015年）、『The Technological Singularity: Managing the Journey』に掲載。
- 「Artificial Intelligence as a Positive and Negative Factor in Global Risk」Eliezer Yudkowsky著（2008年）、『Global Catastrophic Risks』に掲載。
- 「Quantilizers: A Safer Alternative to Maximizers for Limited Optimization」Jessica Taylor著（2016年）、第30回AAAI人工知能会議で発表。
- 「Complex Value Systems in Friendly AI」Eliezer Yudkowsky著（2011年）、『Artificial General Intelligence: 4th International Conference』に掲載。
- 「If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All」Eliezer YudkowskyとNate Soares著（2025年）、Hachetteから出版された書籍。
影響と評価
MIRIはAI安全性の分野の先駆者であり、AIによる実存的リスクが主流の関心事となる前にその注意を喚起してきた。その研究は、OpenAIやAnthropicなどの他の組織や研究者に影響を与えてきた。しかし、MIRIはその理論的な焦点と、過度の警戒心を煽るという認識に対して批判も受けてきた。それにもかかわらず、その活動はOpen PhilanthropyやVitalik Buterinを含む主要な寄付者によって支援されており、実効的利他主義コミュニティにおける影響力を反映している。