ニック・ボストロムはスウェーデンの哲学者であり、長期的な技術リスクに関する研究、特に2014年の著書『スーパーインテリジェンス：超知能が人類を終わらせる日』（原題：Superintelligence: Paths, Dangers, Strategies）によって、AIによる実存的リスクを学術的かつ公的な真剣な議論の対象として確立するのに貢献した。
ボストロムはオックスフォード大学で教授職を務め、2005年には人間性未来研究所（FHI）を設立して所長を務めた。FHIは、高度なAI、バイオテクノロジー、その他の新興技術によるリスクを含む、人類の長期的未来に対する大規模なリスクを、哲学と確率論のより広い問題と並行して研究する学際的な研究センターであった。FHIは約20年間活動した後、大学との管理上の摩擦により2024年4月に閉鎖されたが、初期のAI safetyおよびAIアライメント研究の最も影響力のあるセンターの一つとなっていた。
スーパーインテリジェンスと中核的概念
ボストロムの2014年の著書『スーパーインテリジェンス』は、認知に関連するすべての領域で人間を大幅に上回る能力を持つAIシステム、すなわちSuperintelligenceが、その目標が人間の価値観と慎重に整合されていない場合、開発のどの単一の段階にも明白な悪意や誤りが含まれていなくても、深刻なリスクをもたらす可能性があるという体系的な議論を展開した。この本は、AI安全性の議論において今も中心的な役割を果たすいくつかの概念を広めた。すなわち、直交性テーゼ（AIシステムの知能レベルはその最終目標から独立しており、高度に能力のあるシステムが恣意的または些細な目標を追求する可能性があるという考え）、手段的収束（多様な目標が高度なAIに自己保存や資源獲得などの類似した中間的なサブゴールを追求させるという観察）、そしてペーパークリップ最大化装置（一見無害な目標をひたむきに最適化するシステムが破滅的な結果を生み出す可能性を示す思考実験）である。この本は、Elon Muskなどの人物によってAI開発の軌道に対する深刻な懸念を提起するものとして引用され、後にOpenAIやAnthropicなどの主要ラボにおけるAI safetyをめぐる議論で使用される語彙を大幅に形成した。
シミュレーション仮説とその他の研究
『スーパーインテリジェンス』以前に、ボストロムは2003年のシミュレーション仮説で知られていた。この仮説は、以下の3つの命題の少なくとも1つが真実である可能性が高いと提唱した。すなわち、文明が詳細な祖先シミュレーションを実行できる段階に達する前にほぼ常に絶滅する、そのような文明が多くのシミュレーションを実行しないことを選択する、または私たちがほぼ確実にシミュレーションの中に生きている、というものである。この仮説は、主にAIに関するものではなかったが、高度な未来技術に関する同様の推論に基づいており、学術哲学をはるかに超えて広く議論されるようになった。
影響と批判
ボストロムの研究は、機械知能研究所や後の未来生命研究所など、他のAI安全性に焦点を当てた組織の設立に影響を与え、Eliezer Yudkowsky、Max Tegmark、Dan Hendrycksなどの研究者に影響を与えた。これらの研究者は、FHIの閉鎖後も長期的なAIリスクに関する研究を継続した。批判者らは、ボストロムのシナリオは将来のAI能力に関する推測的で反証が困難な仮定に依存しており、推測的な長期的リスクに焦点を当てることは、展開されたAIシステムによるより直接的で実証された害から注意をそらす可能性があると主張している。この緊張関係は、AI safetyのより広い分野において、短期的リスクと長期的リスクの枠組みの間で持続している。