Center for Human-Compatible Artificial Intelligence（CHAI）は、カリフォルニア大学バークレー校にある研究センターであり、高度な人工知能システムが人間の価値観や意図と整合するようにするための手法の開発に焦点を当てている。2016年に設立されたこのセンターは、AIの能力が成長しても有益であり続けるようにするという長期的な課題に取り組んでおり、特に価値整合と制御可能な機械の挙動を重視している。
このセンターは、バークレー校のコンピュータ科学教授であり、広く使用されている教科書『Artificial Intelligence: A Modern Approach』の共著者であるStuart J. Russellが率いる学者グループによって設立された。RussellはAI安全性の議論において著名な発言者であり、固定された目的を最適化する現在のパラダイムは、真の人間の選好から逸脱する挙動を持つシステムを生み出す可能性があると主張している。
研究の焦点
CHAIの中心的な研究戦略は、特に逆強化学習を通じた価値整合に重点を置いている。このアプローチでは、AIシステムは明示的な指示や報酬関数からではなく、人間の挙動を観察することによって人間の価値観を推測する。目標は、人々が直接的に表現するのが難しい選好を含め、人々が本当に望むことを学習できるAIを創り出すことである。
このセンターはまた、知的エージェントが無効化できる「オフスイッチ」を持つシナリオにおける人間と機械の相互作用のダイナミクスも調査している。この研究ラインは、AIが人間の制御に対して従順であり続けるように設計される方法を検討しており、基本的にはシステムが自分自身をオフにされることを許すべき時を認識するように教えることを目指している。
教員と協力者
CHAIの教員は複数の機関にまたがっている。Russellに加えて、バークレー校所属のメンバーにはPieter AbbeelとAnca Draganが含まれる。このセンターには、コーネル大学のBart SelmanとJoseph Halpern、ミシガン大学のMichael WellmanとSatinder Singh Baveja、プリンストン大学のTom GriffithsとTania Lombrozoも参加している。この学際的な構成により、コンピュータ科学、認知科学、哲学の専門知識が結集されている。
このセンターは学界を超えたパートナーシップも確立しており、世界経済フォーラムおよびそのグローバルAI評議会との協力が含まれる。これらのつながりは、研究成果を政策議論や産業慣行に変換することを目的としている。
資金調達の歴史
CHAIへの初期資金は2016年に提供され、Open Philanthropy ProjectがGood Venturesに5年間で5,555,550ドルの支援を推奨した。それ以来、CHAIはOpenPhilとGood Venturesから総額1,200万ドルを超える追加助成金を受けている。この持続的な資金支援により、センターは大学院生、博士研究員、および複数機関にわたる研究活動を支援することができている。
出版物と成果
CHAIに所属する研究者は、報酬学習、修正可能性、AIシステムにおける仕様の限界などのトピックについて広範に出版している。このセンターの研究は主要な機械学習およびAI会議で発表されており、その発見は汎用人工知能による実存的リスクに関するより広範な議論に情報を提供している。Russellの2019年の著書『Human Compatible』は、このセンターの多くのアイデアを総合し、人間の選好に対する不確実性を中核原理としてAIを設計すべきという議論をわかりやすい形で提示している。
影響と遺産
このセンターは、深層学習およびAI研究における認知された分野としてのAI安全性の成長に貢献してきた。厳密な形式的枠組みへの重点は、研究者が報酬ハッキングや仕様ゲーミングなどの問題に取り組む方法に影響を与えてきた。大規模言語モデルやその他の高度なシステムがより高性能になるにつれて、CHAIが当初提起した整合性に関する問いは、理論的な懸念から実践的な工学的課題へと移行しており、OpenAIやAnthropicのような組織にとっての含意を持っている。
関連項目
- 汎用人工知能による実存的リスク
- Machine Intelligence Research Institute
- Future of Humanity Institute
- Future of Life Institute
外部リンク
公式ウェブサイト