2024年に開催されたフロンティアAI安全・政策イベントは、高度な人工知能システムのガバナンスと安全性に関する国際協力のための専用フォーラムとして開催された。この集会には、政府代表、技術研究者、主要なAI研究所の幹部が集まり、最先端の現行システムに匹敵またはそれを超える能力を持つフロンティアモデルがもたらす特有の課題に対処した。このイベントは、Machine learningの急速な進歩には、各国が孤立して取り組むのではなく、国境を越えた協調行動が必要であるというコンセンサスの高まりから生まれた。
この会合は、Generative AIとLarge language model技術の加速的な発展を背景に組織された。参加者には、複数の国の政府関係者、University of OxfordやBAIR (Berkeley AI Research)などの学術機関の研究者、OpenAI、Anthropic、Google DeepMindなどの企業の技術リーダーが含まれていた。議題は、共有の安全ベンチマークの確立、インシデント報告の仕組みの創設、フロンティアシステムの責任ある展開のための枠組みの開発という3つの主要分野に焦点を当てた。
背景と文脈
フロンティアAI安全に関する専用の国際フォーラムの必要性は、高度なモデルに関わるいくつかの注目すべき事件の後に明らかになった。2023年には、複数の研究グループが、大規模言語モデルが広範な安全トレーニングにもかかわらず有害な出力を生成するように誘導され得ることを実証し、現在のReinforcement Learning from AI Feedback (RLAIF)やその他の調整技術の限界を浮き彫りにした。同時に、フロンティアモデルのトレーニングに必要な計算リソースは指数関数的に増大し、AWS Trainiumやその他の特殊なハードウェアクラスターへのアクセスを持つ少数の組織に能力が集中した。
これらの動向は、Aleksander MadryやMelanie Mitchellなどの研究者から、より構造化された国際対話を求める声を促した。このイベントは、英国で開催された2023年のAI安全サミットを含む初期の取り組みに基づいており、そこではフロンティアAIガバナンスの予備的原則が確立されたが、具体的な実施メカニズムは欠けていた。2024年の集会は、それらの原則を実行可能な政策に変換することを目指した。
技術的安全対策に関する主要な議論
イベントの重要な部分は、フロンティアAIの安全性を確保するための技術的アプローチに焦点を当てた。研究者は、Model Pruningや、パフォーマンスを維持しながらモデルの複雑さを低減するその他の技術に関する発見を発表し、これによりより徹底的な監査が容易になる可能性がある。議論では、展開前に障害モードを特定するために設計されたレッドチーミング演習や敵対的テストプロトコルを含む評価方法論の役割が取り上げられた。
参加者は、モデルの意思決定プロセスへの可視性を提供するMechanistic interpretability研究の可能性を検討した。Anthropicによる特徴可視化とOpenAIによる活性化ステアリングに関する研究は、フロンティアシステムを理解し制御するための有望な道筋として提示された。しかし、複数の講演者は、現在の解釈可能性ツールはモデルの能力に大幅に遅れを取っており、Jakob Uszkoreitやその他の技術リーダーが重要な研究優先事項として特定したギャップがあると警告した。
イベントではまた、計算ガバナンス、すなわちフロンティアトレーニングに必要な大規模な計算リソースへのアクセスを制御することが政策の手段となり得るという考え方にも取り組んだ。TSMCとNVIDIAの代表はサプライチェーンの考慮事項について議論し、政策専門家は大規模トレーニング実行のための国際登録システムの実現可能性について議論した。
国際的政策枠組み
中心的なテーマは、フロンティアAI安全に関する拘束力のある国際協定の開発であった。欧州連合、米国、英国、カナダ、日本の代表は、それぞれの規制アプローチを提示し、EUのリスクベースのArtificial intelligence法から、2023年10月に発行された米国の安全・セキュア・信頼できるAIに関する大統領令まで多岐にわたった。イベントは、これらの多様な枠組みの間で共通点を見つけようとした。
提案には、CERNのような既存の科学協力に基づく国際AI安全研究ネットワークの設立が含まれ、これにより国境を越えてリソースと専門知識が集約される。別の提案は、航空安全報告システムと同様に、組織が安全関連の障害を開示することを義務付けるグローバルなインシデント報告データベースの作成を含んでいた。参加者は、管轄権や執行の問題を含む、そのようなメカニズムの法的および実践的な課題について議論した。
小国や発展途上経済の代表は、AIの利益への公平なアクセスと、安全規制が少数の富裕国の支配を強化する可能性について懸念を表明した。これらの議論は、能力構築と技術移転に焦点を当てた作業部会につながり、Alibaba Cloudやその他の国際企業の参加者がグローバル展開に関する視点を提供した。
業界のコミットメントと自主基準
いくつかの主要なAI企業は、イベント中に自主的なコミットメントを行った。OpenAIは、独立した研究者に展開前モデルへのより大きなアクセスを許可する、拡大された外部レッドチーミングプログラムを発表した。Anthropicは、特定されたリスクに対処するために取られた具体的な措置を文書化した、フロンティアシステムの詳細な安全ケースレポートを公開することを約束した。Google DeepMindは、適切な保護措置を条件として、安全評価結果をパートナー機関と共有することを約束した。
これらの自主的な措置は、より正式な規制への橋渡しと見なされた。業界代表は、技術の急速に進化する性質を考えると、柔軟で適応性のある基準が厳格な法的要件よりも望ましいと主張した。しかし、市民社会のオブザーバーや一部の学術参加者は、自主的なコミットメントの執行可能性について懐疑的な見方を示し、業界の自己規制が不十分であることが証明された歴史的先例を指摘した。
イベントではまた、AnthropicとUniversity of Oxfordの間で、特定の領域で人間の能力を最終的に超える可能性のあるAIシステムを監督するという課題に焦点を当てた、スケーラブルな監督に関する共同研究イニシアチブが開始された。このプロジェクトは、慈善財団や政府の研究助成金を含む複数の資金源から資金提供を受けた。
技術的課題と研究優先事項
イベントの研究者は、緊急の注意を必要とするいくつかの重要な技術的課題を特定した。AI alignmentの問題、すなわちAIシステムが意図された目標を確実に追求することを保証することは、特にreinforcement learning from human feedbackや関連アプローチを介してトレーニングされたシステムについて、未解決のままであった。参加者は、モデルの行動に明示的な原則を埋め込むことを目的としたConstitutional AIやその他の方法の可能性について議論した。
もう一つの優先事項は、フロンティアモデルの能力とリスクを測定できる堅牢な評価スイートの開発であった。既存のベンチマークは、狭すぎて簡単にゲーム化されると批判され、モデルは真の理解ではなく記憶によって高いスコアを達成した。Stanford AI LabとMIT CSAILの研究者は、推論、堅牢性、安全性の特性を評価する、より包括的な評価枠組みの提案を発表した。
イベントは、AI安全研究における再現性の重要性を強調した。複数の講演者は、公開された多くの安全結果が、独自のモデルアクセスと計算上の制約のために再現できないと指摘した。標準化された評価環境と共有インフラの呼びかけが行われ、Google CloudとMicrosoft Azureの代表が安全研究のためのクラウドベースのプラットフォームの可能性について議論した。
ガバナンスと説明責任のメカニズム
AIによって引き起こされる害に対する説明責任の問題は、かなりの注目を集めた。法律学者は、自律システムの責任枠組みについて議論し、既存の不法行為法や製造物責任法が損害を引き起こすAIシステムにどのように適用されるかを検討した。アルゴリズム監査、すなわち安全および倫理基準への準拠についてAIシステムを独立して評価するという概念は、説明責任を確保するための潜在的なメカニズムとして検討された。
参加者は、AIガバナンスにおける国際組織の役割について議論した。一部は国連内の専門機関を提唱し、他はより軽量な調整メカニズムを好んだ。イベントの最終コミュニケは、定期的な会合と研究および政策努力を調整するための常設事務局を備えた、フロンティアAI安全に関する常設の国際フォーラムの設立を求めた。
議論はまた、AI安全と、Artificial intelligenceと雇用、プライバシー、民主的プロセスに関するより広範な懸念との関係にも触れた。イベントは主に壊滅的なリスクに焦点を当てたが、複数の講演者は、安全枠組みは偽情報やアルゴリズムバイアスを含む、より即時的な社会的影響にも対処しなければならないと強調した。
成果と次のステップ
フロンティアAI安全・政策イベントは、フロンティアAI安全に関する継続的な協力への参加者のコミットメントを確認する共同声明の採択で締めくくられた。具体的な成果には、2025年までに共有の安全ベンチマークを開発する合意、パイロットインシデント報告システムの作成、技術研究、政策調整、能力構築に関する作業部会の設立が含まれた。
フォローアップ会合は2025年に予定され、アジア諸国の連合が主催することになった。その間、参加組織は自主的なコミットメントの進捗を報告することに同意し、実施を評価するための年央レビューが計画された。このイベントは、AIガバナンスに関する国際協調への重要な一歩として広く見なされたが、オブザーバーは、合意を効果的な行動に変換するには持続的な政治的意志と技術的努力が必要であると指摘した。
この集会はまた、いくつかの独立したイニシアチブを触発した。Carnegie Mellon UniversityとUniversity of Torontoの研究者グループは、オープンソースの安全評価ツールキットの計画を発表した。Inflection AIやAI21 Labsを含むいくつかの企業は、非フロンティアモデルに共通の安全基準を採用することを約束した。これらの動向は、イベントの影響が直接の参加者を超えて広がり、AIエコシステム全体の安全性と責任へのアプローチを形成していることを示唆した。