米国AI安全性研究は、大学、民間企業、非営利団体による、人工知能に関連するリスクの理解と軽減に取り組む活動を包含している。この分野は、AIシステムを人間の価値観に合わせる整合、敵対的攻撃に対する堅牢性の確保、そしてますます高性能化するモデルがもたらす社会的影響の管理といった技術的課題に対処する。研究は機械学習、コンピュータ科学、倫理学、政策などの学問分野を横断しており、2010年代以降、深層学習と大規模言語モデルの進歩とともに大きく成長してきた。
米国の主要機関、例えばOpenAI、Anthropic、Google DeepMindは、専任の安全性チームと研究プログラムを確立している。Berkeley AI ResearchやStanford AI Labなどの学術センターは基礎的な研究に貢献し、政府機関やシンクタンクは規制の枠組みを探求している。この分野の重要性は、2020年のGPT-3や2022年のChatGPTのようなモデルの公開後に高まり、その能力と潜在的な害の両方が浮き彫りにされた。
技術研究分野
技術的な安全性研究は、AIシステムを信頼性が高く、解釈可能で、人間の意図に整合したものにすることに焦点を当てている。主要な分野の一つは整合であり、モデルをユーザーや社会の価値観と一致するように訓練することを伴う。AIフィードバックからの強化学習やカリキュラム学習などの技術がモデルの行動改善に用いられている。もう一つの分野は堅牢性であり、研究者はモデルが敵対的入力、データ拡張、分布シフトにどのように応答するかを研究する。解釈可能性は、プロービング分類器や活性化分析などの手法を用いて、ニューラルネットワークの内部表現を理解することを目指す。例えば、Anthropicの研究者は大規模言語モデルにおける特徴の表現方法を探求し、OpenAIはスケーラブルな整合手法を調査してきた。
主要な組織とイニシアチブ
米国を拠点とするいくつかの組織が安全性研究を主導している。2015年に設立されたOpenAIは、当初は安全なAI開発に焦点を当て、後に将来のリスクに対処するためSuperalignmentチームを設立した。2021年に元OpenAI研究者によって設立されたAnthropicは、Constitutional AIと解釈可能性を重視している。Google DeepMindは英国に拠点を置くものの、米国に重要なプレゼンスを持ち、仕様ゲーミングやAI倫理などのトピックについて安全性研究を行っている。MIT CSAIL、カーネギーメロン大学、Berkeley AI Researchなどの学術機関は、専用の研究所を運営し、広範な研究を発表している。Center for AI SafetyやFuture of Life Instituteのような非営利団体は、米国のみに限定されないものの、議論に影響を与えてきた。米国国立標準技術研究所（NIST）を含む政府機関は、AIリスク管理のための枠組みを発行している。
主要な研究者と貢献
著名な研究者がこの分野を形成してきた。OpenAIの研究者であるJacob Steinhardtは、敵対的例とスケーラブルな整合に取り組んできた。元OpenAIのDavid Kaplanは、モデル開発に情報を提供するスケーリング則に貢献した。MITのAleksander Madryは、堅牢性と敵対的機械学習を研究している。サンタフェ研究所のMelanie Mitchellは、AI倫理と認知を探求している。MITとNYUのJoshua TenenbaumとBrendan Lakeは、人間に似た学習と抽象化を調査している。CaltechのAnima Anandkumarは、テンソル法と科学のためのAIに取り組み、Google DeepMindのSamy Bengioは、安全で堅牢な学習に焦点を当てている。これらの研究者はしばしば機関を超えて協力し、NeurIPS、ICML、Journal of Artificial Intelligence Researchなどの場で発表している。
課題と今後の方向性
進歩にもかかわらず、米国AI安全性研究は重大な課題に直面している。一つの問題は、AIシステムが従うべき人間の価値観を正確に特定することの難しさである。もう一つの問題は、安全性研究を上回る可能性のある急速なモデル開発のペースである。この分野はまた、安全性技術が悪用される可能性があるデュアルユースの懸念にも取り組んでいる。今後の方向性には、より厳格な評価ベンチマークの開発、解釈可能性ツールの改善、国際協力の促進が含まれる。2025年時点で、超知能AIの可能性と予防的な安全対策の必要性についての議論が続いている。米国政府は、安全なAI開発を奨励するための法案や大統領令を提案してきたが、具体的な規制は流動的なままである。
影響と公的議論
米国AI安全性研究は、公共政策と企業慣行に影響を与えてきた。2023年の高度なAI訓練の一時停止を求める書簡のような注目度の高い声明は、広範な議論を引き起こした。企業は、OpenAIのPreparedness FrameworkやAnthropicのResponsible Scaling Policyなどの安全性フレームワークを採用している。学術コースや会議は急増し、この分野は民間財団と政府機関の両方から多額の資金を集めてきた。AI安全性に対する一般の認識は、ニッチな技術的関心事から主流の問題へと移行しており、特に偏ったまたは有害なAI出力を含む事件の後にその傾向が強まった。AIシステムが日常生活にますます統合されるにつれて、米国研究者の仕事は、これらの技術が社会に利益をもたらすことを確実にする上で中心的な役割を果たし続けるだろう。