尼克·博斯特罗姆是一位瑞典哲学家，其关于长期技术风险的研究，尤其是他2014年出版的著作《超级智能：路径、危险与策略》，帮助确立了人工智能带来的生存风险这一严肃的学术与公共讨论主题。
博斯特罗姆曾在牛津大学担任教授，并于2005年在那里创立并领导了人类未来研究所（FHI），这是一个跨学科研究中心，研究对人类长期未来构成的大规模风险，包括先进人工智能、生物技术及其他新兴技术带来的风险，同时涉及哲学和概率论中的更广泛问题。FHI运作了近二十年，直到2024年4月因与大学的行政摩擦而关闭，尽管它已成为早期AI safety和人工智能对齐研究中最具影响力的中心之一。
超级智能与核心概念
博斯特罗姆2014年的著作《超级智能》提出了一个系统性论证：一个在所有认知相关领域都远超人类能力的人工智能系统，即超级智能，如果其目标未与人类价值观仔细对齐，则可能构成严重风险，即使其发展过程中没有任何单一步骤涉及明显的恶意或错误。该书普及了几个至今仍是人工智能安全讨论核心的概念：正交性论题，即人工智能系统的智能水平与其最终目标相互独立，这意味着一个高度能干的系统可能追求任意或琐碎的目标；工具性趋同，即观察到广泛的目标会导致先进人工智能追求类似的中间子目标，如自我保存和资源获取；以及回形针最大化者，这是一个思想实验，说明一个一心优化看似无害目标的系统如何可能产生灾难性后果。该书被包括Elon Musk在内的人士引用，认为它引发了对人工智能发展轨迹的严重关切，并深刻塑造了后来在包括OpenAI和Anthropic在内的主要实验室中关于AI safety辩论所使用的词汇。
模拟论证及其他工作
在《超级智能》之前，博斯特罗姆以2003年的模拟论证而闻名，该论证提出以下三个命题中至少有一个很可能为真：文明几乎总是在达到能够运行详细祖先模拟的阶段之前灭绝；这样的文明会选择不运行许多此类模拟；或者我们几乎肯定生活在模拟之中。该论证虽然主要不涉及人工智能，但借鉴了关于先进未来技术的类似推理，并在学术哲学之外得到了广泛讨论。
影响与批评
博斯特罗姆的工作启发了其他专注于人工智能安全的组织的创建，包括机器智能研究所以及后来的未来生命研究所，并影响了诸如Eliezer Yudkowsky、Max Tegmark和Dan Hendrycks等研究者，他们在FHI关闭后继续从事长期人工智能风险研究。批评者认为，博斯特罗姆的情景依赖于关于未来人工智能能力的推测性且难以证伪的假设，并且关注推测性的长期风险可能分散人们对已部署人工智能系统带来的更直接、有据可查的危害的注意力，这一张力在更广泛的AI safety领域中持续存在于近期风险与长期风险框架之间。