Eliezer Yudkowsky（1979年9月11日生まれ）は、アメリカの独学の研究者・作家であり、AIアライメントに関する研究と、汎用人工知能の無制限な発展が人類の絶滅につながる可能性があるという議論を広めたことで最もよく知られている。彼は正式な学位を持たず、学校を卒業前に離れており、そのキャリアは主にオンライン上のエッセイ、ブログ投稿、そして彼が設立に貢献した合理性主義ウェブサイトLessWrongを中心とするコミュニティを通じて築かれた。
2000年、YudkowskyはSingularity Institute for Artificial Intelligence（後にMachine Intelligence Research Institute（MIRI）と改名）を共同設立し、そのキャリアの大半をアライメントという技術的問題、すなわち十分に能力の高いAIシステムが人間の生存と価値観に適合する目標を追求することを確実にする方法に費やしてきた。多くのAI安全性研究者がこの問題を段階的で修正可能な失敗として捉えるのに対し、Yudkowskyは2000年代半ばから、十分に能力の高い超知能が人間の利益と壊滅的に乖離した方法でその目的を追求する可能性があり、そのようなシステムは人類に誤りを修正する二度目の機会を与えないかもしれないと主張してきた。
公的活動
Yudkowskyの影響力はMIRIの技術的成果をはるかに超えている。LessWrongでの彼のエッセイ（後に「Rationality: From AI to Zombies」としてまとめられた）は、より広範な合理性主義コミュニティと効果的利他主義コミュニティの形成に寄与し、その両方が一世代のAI研究者や資金提供者がAIによる実存的リスクを考える方法を形作ってきた。また、彼は広く読まれたファンフィクション作品「Harry Potter and the Methods of Rationality」を執筆し、そのAIリスク論が主流に届くずっと前に、合理性主義の考えを多くの一般読者に紹介した。
ChatGPTやGPT-4の登場後、大規模言語モデルが急速に進歩するにつれ、Yudkowskyの警告はニッチなサブカルチャーから主流メディアへと移行した。2023年3月、彼はFuture of Life Instituteの一時停止書簡とともに広く議論されたが、彼は一時的な停止では不十分だと公に主張した。2023年3月のTIME誌のオピニオン記事で、彼は大規模な大規模言語モデルの訓練実行に対する無期限かつ国際的に強制されるモラトリアムを呼びかけ、悪質なデータセンターへの行動の脅しも含めた。この立場は、マックス・テグマークなど一時停止書簡の署名者の大半よりもはるかに過激なものであった。
評価と批判
Yudkowskyのほぼ確実な破滅という予測は、真剣な関与と鋭い批判の両方を引き寄せてきた。支持者は、彼がアライメントを流行する何年も前に研究優先事項として提起し、後にOpenAIやAnthropicなどの研究所に加わった研究者に影響を与えたことを評価している。批判者には、一部のAI研究者や技術者が含まれ、彼の破滅確率の推定は反証不可能であり、彼の機械学習研究の正式な経験の欠如が彼の具体的な主張の技術的信頼性を制限し、彼のレトリックが単一の失敗シナリオの確実性を過大評価し得ると主張する。彼の議論は、ダン・ヘンドリクスやニック・ボストロムなどの他の公人によって提唱されたより慎重なリスク軽減フレームワークとは対照的に、公の議論における「AI破滅論者」の立場と密接に関連し続けている。