バークレーAI安全は、カリフォルニア大学バークレー校における研究イニシアチブであり、高度な人工知能システムが人類にとって有益であり続けることを確保することに専念している。主要な組織は、人間適合型人工知能センター（CHAI）であり、バークレーのコンピュータ科学教授であるスチュアート・J・ラッセルをはじめとする学者グループによって2016年に設立された。彼は広く使用されている教科書『人工知能：現代アプローチ』の共著者である。CHAIは、AIの行動を人間の価値観に合わせる方法を開発し、能力が向上するArtificial intelligenceシステムによるリスクに対処することに焦点を当てている。
設立と資金
CHAIは2016年に、AI研究を安全と人間適合性に再指向することを使命として設立された。創設立教員には、複数の機関から著名な研究者が含まれて：ラッセル、ピーター・アビール、およびアンカ・ドラガン（バークレー）、バート・セルマンおよびジョセフ・ハルパーン（コーネル）、マイケル・ウェルマンとサティンダー・シン・バベヤ（ミシガン大学）、およびトム・グリフィスとタニア・ロンブロゾ（プリンストン大学）。初年度には、オープン・フィランソロピー・プロジェクトがGood VenturesにCHAIへの5年間で5,555,550ドルの支援を推奨した。以降、OpenPhilとGood Venturesからの助成金は累計で12,000,000ドルを超え、世界経済フォーラムやグローバルAI協議会との協力も含む財源が提供されている。
研究の焦点
CHAIの研究は価値調整を中心とし、特に逆強化学習に焦点を当てており、AIシステムが明示的な指示ではなく、行動を観察することで人間の価値観を推論する方法を採用している。このアプローチは、複雑な現実のシナリオで人間の好みに関して学習し適応するほかのAIを作ることを目的としている。センターはまた、AIが安全に割り込まれたり、その制御をoverrideしたりできる場合でも、人間と機械の相互作用について研究しています。これらのトピックは、能力が増すにつれて安全の確保がますます重要となるMachine learningやDeep learningの広範な課題と関連しています。
広範囲のコンテキスト
バークレーのAI安全の活動は、より広範な学術と産業の運動の一部です。他の機関の例としては、Future of Humanity InstituteやMachine Intelligence Research Institute同様の懸念に対応しています。CHAIの研究は、OpenAIやAnthropicなどの組織の取り組みを補完しており、これらも位置合わせを優先しています。この法人の人間適合性AIへの焦点点は、ラッセルの本人間適合性で強調されているように、人工一般知能からの存在論的风险に関する議論に影響を与えてきました。
影響と協力
世界経済フォーラントやグローバルAIコーメン監督と部分的協力関係を通じて、CHAIは学界を超えた影響を拡大し、ポリシーメーカーや産業界のリードとインタープ同盟し合っています。OpenPhilとGood Venturesからの資金調達は、慈善団体が推進するAI安全への役割を強調しています。2020年代中期まで、CHAIは研究を発表し、学生を教育し続け、より広範なGenerative AIやその他の高度なシステムを人間の管理下に置くことを確保するための知識を培っています。
参照
- 人工一般知能からの存在リスク
- Future人類研究所
- Future生活研究所
- Humanうち署名の互換
- Machine Intelligence Research研究所