Center for AI Safety（CAIS）は、サンフランシスコに拠点を置くアメリカの非営利団体であり、人工知能の安全な開発と展開を促進している。CAISの活動は、技術的なAI安全性とAI倫理に関する研究、提唱活動、そしてAI安全性研究分野の成長を支援することに及んでいる。2022年にDan HendrycksとOliver Zhangによって設立された。
2023年5月、CAISは、数百人のAI教授、主要なAI企業のリーダー、その他の著名人によって署名されたAI絶滅リスクに関する声明を発表した。この組織は、高度な人工知能システムからの潜在的な害を軽減することに焦点を当てた研究者、政策立案者、業界パートナーのためのハブとして機能している。
研究
CAISの研究者は、「壊滅的なAIリスクの概要」を発表し、リスクシナリオとリスク軽減戦略を詳述している。説明されているリスクには、自律戦争やパンデミックの工学的作成におけるAIの使用、ならびに欺瞞やハッキングのためのAI能力が含まれる。カーネギーメロン大学の研究者との協力で行われた別の研究では、安全対策を回避する大規模言語モデルへの敵対的攻撃を発見する自動化された方法が説明され、現在の安全システムの不十分さが強調された。
この組織の技術研究は、機械学習の堅牢性、ニューラルネットワークの解釈可能性、深層学習システムの整合性などの分野に及んでいる。CAISの研究者はまた、生成AIにおける失敗モードを調査し、展開前に危険な能力を評価するための枠組みを提案している。
活動
2023年、CAISのAI絶滅リスクに関する声明は、AnthropicのDario Amodei、OpenAIのSam Altman、その他のAI業界リーダーの支持を得た。同年、暗号通貨取引所FTX（2022年11月に破綻）は、同年にCAISへ寄付した650万ドルの回収を試みた。
他の取り組みには、AI安全性研究を支援するための計算クラスター、「Intro to ML Safety」と題されたオンラインコース、および概念的問題に対処するための哲学教授向けフェローシップが含まれる。Center for AI Safety Action Fundは、カリフォルニア州法案SB 1047、すなわちフロンティアAIモデルのための安全かつセキュアなイノベーション法のスポンサーである。
提唱と政策
CAISは、州および連邦レベルの政策立案者と関わり、フロンティアAIシステムのための規制枠組みを推進している。この組織は、モデル安全性評価、人間のフィードバックからの強化学習、トランスフォーマーベースのアーキテクチャのリスクなどのトピックに関するブリーフィングを発表している。その提唱活動は、展開前テストと透明性基準の必要性を強調している。
コミュニティ構築
このセンターは、助成金、ワークショップ、およびバークレーAI研究やオックスフォード大学などの学術機関との協力を通じて、より広範なAI安全性エコシステムを支援している。また、安全性研究者のディレクトリを維持し、Google DeepMind、Anthropic、その他の主要ラボからの専門家を集める定期的なセミナーを開催している。
関連項目
参考文献
出典はWikipedia（CC BY-SA）からの事実。
外部リンク
公式ウェブサイト