机器智能研究所（MIRI），前身为奇点人工智能研究所（SIAI），是一个非营利研究机构，自2005年起专注于识别和管理人工智能可能带来的生存风险。MIRI的工作重点在于友好人工智能的系统设计方法，以及预测技术发展的速度。
该研究所由埃利泽·尤德科夫斯基于2000年创立，最初旨在加速人工智能的发展，但在对超级智能系统的担忧出现后，将重点转向风险管理。研究所位于加利福尼亚州伯克利市，在人工智能安全领域具有影响力，尤其在有效利他主义运动中。
历史
2000年，埃利泽·尤德科夫斯基在布莱恩和萨宾·阿特金斯（Brian and Sabine Atkins）的资助下创立了奇点人工智能研究所，目的是加速人工智能的发展。然而，尤德科夫斯基开始担心未来开发的AI系统可能变得超级智能，并对人类构成风险。2005年，研究所从亚特兰大迁至硅谷，并开始专注于识别和管理这些风险的方法，而当时这些风险在很大程度上被该领域的科学家所忽视。
从2006年起，研究所组织了奇点峰会，讨论人工智能的未来及其风险，最初与斯坦福大学合作，并得到彼得·蒂尔的资助。《旧金山纪事报》将第一届会议描述为“湾区为名为超人类主义的科技灵感哲学举办的亮相派对”。2011年，其办公室位于伯克利市中心四套公寓内。2012年12月，研究所将其名称、域名和奇点峰会出售给奇点大学，并在次月更名为“机器智能研究所”。
2014年和2015年，公众和科学界对人工智能风险的兴趣增长，增加了用于资助MIRI及类似组织研究的捐款。2019年，开放慈善项目建议在两年内向MIRI提供约210万美元的一般性支持赠款。2020年4月，开放慈善项目又追加了两年770万美元的赠款。2021年，维塔利克·布特林向MIRI捐赠了价值数百万美元的以太坊。
研究与方针
MIRI在尤德科夫斯基的领导下，识别和管理人工智能风险的方法主要涉及如何设计友好人工智能，涵盖AI系统的初始设计以及确保不断演化的AI系统保持友好的机制创建。MIRI研究人员主张将早期安全工作作为预防措施。然而，MIRI研究人员对雷·库兹韦尔等奇点倡导者认为超级智能“即将到来”的观点表示怀疑。
MIRI通过一项名为“AI影响”的倡议资助预测工作，该倡议研究历史上不连续技术变革的实例，并开发了衡量人类与计算机硬件相对计算能力的新方法。MIRI与有效利他主义运动的原则和目标保持一致。
重要出版物
MIRI员工贡献了多篇有影响力的论文和著作。重要作品包括：
- “我们为何应关注人工智能超级智能”，作者马修·格雷夫斯（2017），发表于《怀疑论者》。
- “通过勒布定理实现囚徒困境中的程序均衡”，作者帕特里克·拉维克托瓦、本贾·法伦斯坦、埃利泽·尤德科夫斯基等人（2014），在AAAI-14研讨会上发表。
- “在大马士革欺骗死亡”，作者内特·索尔斯和本杰明·A·莱文斯坦（2017），在形式认识论研讨会上发表。
- “可修正性”，作者内特·索尔斯、本贾·法伦斯坦、埃利泽·尤德科夫斯基和斯图尔特·阿姆斯特朗（2015），在AAAI研讨会上发表。
- “使超级智能与人类利益对齐：技术研究议程”，作者内特·索尔斯和本贾·法伦斯坦（2015），发表于《技术奇点：管理旅程》。
- “人工智能作为全球风险的正面和负面因素”，作者埃利泽·尤德科夫斯基（2008），发表于《全球灾难性风险》。
- “量化器：有限优化中比最大化器更安全的选择”，作者杰西卡·泰勒（2016），在第三十届AAAI人工智能会议上发表。
- “友好AI中的复杂价值系统”，作者埃利泽·尤德科夫斯基（2011），发表于《人工通用智能：第四届国际会议》。
- “如果有人构建它，所有人都将死亡：为何超级人类AI会杀死我们所有人”，作者埃利泽·尤德科夫斯基和内特·索尔斯（2025），由哈切特出版社出版。
影响与评价
MIRI是人工智能安全领域的先驱，在人工智能带来的生存风险成为主流关注之前便引起关注。其研究影响了其他组织和研究者，包括OpenAI和Anthropic的成员。然而，MIRI也因其理论性重点和被认为的危言耸听而面临批评。尽管如此，其工作得到了包括开放慈善项目和维塔利克·布特林在内的主要捐助者的支持，反映了其在有效利他主义社区中的影响力。