AIによる実存的リスクとは、十分に高度な人工知能が人類の絶滅や文明の回復不能な崩壊を引き起こす可能性があるという主張、およびその可能性を特定、測定、緩和することに焦点を当てた研究と提唱の体系を指す。これはより広いAI安全性分野の一部であり、超知能や整合性に関する議論と深く重なっている。
中心的な論点
中心的な論点は、人間の価値観と完全には整合しない目標を追求する十分に能力の高いAIシステムが、悪意によるものではなく、誤って指定された目的を最適化する副作用として、破滅的な害を引き起こす可能性があるというものである。この失敗モードは報酬ハッキングと呼ばれることもある。提唱者らは、十分に広範な能力と自律性を持つシステム、特に計画を立てて外部ツールを使用できるシステムは、最終的な目的に関係なく、手段として有用なサブゴールとして修正やシャットダウンに抵抗する可能性があると主張する。これは手段的収束として知られる主張である。懐疑論者は、この推論の連鎖は、能力、目標指向性、自律性が実際のシステムでどのように発展するかについての証明されていない仮定に依存していると反論する。
主な提唱者
哲学者のニック・ボストロムは、2002年の実存的リスクに関する論文と2014年の超知能に関する著書で、初期の学術的基盤を築いた。機械知能研究所を創設した研究者イライザー・ユドコウスキーは、10年以上にわたり、整合性のない超知能が深刻で過小評価された脅威であると主張し、最先端のAI開発に対する厳格な国際的規制を提唱してきた。MMLU知識ベンチマークの著者であるコンピューター科学者ダン・ヘンドリクスは、AI安全センターを通じて、壊滅的リスクの定量化と伝達に向けた研究を指揮してきた。深層学習の先駆者であるヨシュア・ベンジオとジェフリー・ヒントン（後者は2023年にGoogleを退社）は、どちらもAI能力の向上が深刻なリスク、実存的リスクを含む可能性を高めると公に述べている。
2023年の声明と一時停止書簡
公的な関心は、2023年に2つの注目すべき文書を通じて具体化した。3月には、未来生命研究所の一時停止書簡が、GPT-4より能力の高いAIシステムの訓練を6か月間一時停止するよう求め、著名な研究者や技術者を含む数千人の署名を集めたが、署名者の一部は自ら開発を一時停止しなかった。5月には、AI安全センターが「AIによる絶滅リスクの緩和は、パンデミックや核戦争などの他の社会規模のリスクと並んで、世界的な優先事項であるべきだ」という一文の声明を発表し、OpenAI、Google DeepMind、Anthropicのリーダーを含む数百人のAI研究者や経営者が署名した。
反論と懐疑論
著名な懐疑論者には、ヤン・ルカンがおり、現在のシステムの限界を考慮すると実存的リスクの枠組みは推測的で時期尚早だと主張している。またゲイリー・マーカスは、破滅的シナリオの背後にある技術的仮定と、壊滅的リスクを警告しながらより能力の高いシステムの構築を競う研究所のインセンティブの両方を批判している。ティムニット・ゲブルやエミリー・ベンダーを含む批評家は、仮説的な長期的絶滅リスクへの焦点が、偏った出力、労働力の置き換え、少数の企業への権力集中など、文書化された短期的害悪から注意とリソースをそらすと主張している。
政策対応
実存的および壊滅的リスクの枠組みは政府の政策に影響を与えてきた。これには、AI安全サミットで28か国が署名した英国の2023年ブレッチリー宣言や、欧州連合のAI規制における最も能力の高い汎用モデルからのシステム的リスクに対処する条項が含まれる。AnthropicやOpenAIを含むいくつかの最先端研究所は、責任あるスケーリングポリシーと呼ばれることもある内部リスク管理フレームワークを公開し、モデルが定義されたリスク閾値を超える際に能力に連動した安全策を講じることを約束している。