## 将来生命研究所 2015年

Future of Life Instituteの2015年のイベントは、同組織の設立を示すものであり、人工知能による実存的リスクを軽減することに焦点を当て、AI安全性研究の優先事項に関する広く署名された公開書簡の発行を含んでいた。

The Future of Life Institute（FLI）は、2015年に正式に設立された非営利団体であり、人類が直面する存在リスクの低減に特化し、特に高度な人工知能の発展に重点を置いている。同研究所の設立は、2015年1月にプエルトリコで開催された会議で発表され、この会議にはAIの長期的な社会的影響を議論するため、この分野の第一線の研究者が集結した。このイベントはFLIの初期の公的活動の触媒となり、特にAIシステムが堅牢で社会にとって有益であり続けるよう研究の優先順位を転換することを求める公開書簡の発表につながった。

2015年の会議は、宇宙学者のマックス・テグマークやSkype共同創業者のヤーン・タリンを含むFLIの共同設立者らによって組織され、学界と産業界から150人以上の参加者を集めた。参加者には、オックスフォード大学の哲学者ニック・ボストロム、MITコンピュータ科学・AI研究所の研究者でバークレーAI研究の関連人物であるスチュアート・ラッセル、Google DeepMindの共同創業者デミス・ハサビスなどの著名人が含まれていた。この会議では、機械学習の安全性の技術的課題から自律兵器のガバナンスまで、幅広いテーマが議論された。議論では、AIの能力が人間の制御機構を上回る前に、潜在的なリスクに対処するための先行的な措置の必要性が強調された。

AI安全性に関する公開書簡

2015年1月11日、FLIは「堅牢で有益な人工知能のための研究優先順位：公開書簡」と題する公開書簡を発表した。ラッセル、テグマークらによって起草されたこの書簡は、AIコミュニティに対し、AIシステムの検証、妥当性確認、制御などの分野での研究拡大を促した。書簡は、AIの長期的な目標は、狭い目的の最適化ではなく、人間の価値観に整合したシステムを創り出すことであるべきだと強調した。この書簡には、アップルの共同創業者スティーブ・ウォズニアック、テスラ・オートパイロットのCEOイーロン・マスク、物理学者スティーブン・ホーキングなど、数千人の研究者や技術者が署名した。署名者は、スタンフォードAI研究所やカーネギーメロン大学などの学術機関から、同年後半に設立されたOpenAIやGoogle DeepMindなどの産業グループまで、この分野の幅広い層を代表していた。

書簡は、スケーラブルな監視、解釈可能性、ニューラルネットワークシステムの形式的検証手法の開発など、12の具体的な研究優先順位を概説した。また、AI研究者と倫理学、法学、経済学の専門家との連携強化も求めた。この文書の発表は大きなメディアの注目を集め、AIによる存在リスクを主流の公共言説に持ち込む一助となった。数週間以内に主要メディアで取り上げられ、政策議論でも引用され、この分野が安全性の問題に取り組む方法の転換点となった。

設立の原則と構造

FLIは、米国で501(c)(3)慈善団体として法人化され、本部はマサチューセッツ州ボストンに置かれた。設立理事会には、テグマーク、タリン、そして後に科学顧問を務めたMIT教授で深層学習の先駆者であるヨシュア・ベンジオが含まれていた。同研究所の使命声明は、高度なAI、核兵器、バイオテクノロジーによるリスクの低減を強調していたが、AIがすぐに主要な焦点となった。FLIはAI安全性に関する学術研究を資金提供する助成プログラムを設立し、その後数年間でトロント大学やバークレーAI研究などの機関のプロジェクトに数百万ドルを分配した。2015年のイベントはまた、年次会議シリーズの創設にもつながり、後の会議は2017年にカリフォルニア州アシロマーで開催され、アシロマーAI原則を生み出した。

AI研究への影響

2015年の公開書簡とFLIのその後の活動は、AI研究の軌道に測定可能な影響を与えた。その後数年間で、OpenAIや2021年に設立されたAnthropicを含む主要研究所は、安全性と整合性を中核的な研究課題に明示的に組み込んだ。書簡が強調した人間のフィードバックからの強化学習と解釈可能性は、後の大規模言語モデルの訓練における発展を先取りしていた。FLIの資金提供は、トランスフォーマーアーキテクチャやマルチヘッドアテンションメカニズムに関する初期の研究を立ち上げるのに役立ったが、研究所自体がこれらの技術を直接開発したわけではない。2020年までに、この分野ではAIの堅牢性、モデル枝刈り、安全重視アプリケーションのための損失関数設計に対処する出版物が顕著に増加した。

批判と議論

一部の研究者は、FLIの存在リスクの枠組みに懐疑的であり、アルゴリズムバイアスや雇用喪失などの短期的な懸念を犠牲にして、投機的なシナリオを過度に強調していると主張した。批判者らは、公開書簡の署名者にはAIに商業的利益を持つ個人が多く含まれており、利益相反の問題が生じると指摘した。他の人々は、生成AIと自律システムの急速な進歩を考えると、研究所が破局的リスクに焦点を当てることは正当化されると主張した。これらの議論は2010年代を通じて続き、FLIは長期的および即時的な課題の両方に対処するため、メッセージを時折修正した。

遺産

2020年代半ばまでに、FLIはAI安全性エコシステムの中心的な機関となり、2015年のイベントは基礎的な瞬間として広く認識された。公開書簡の原則は、欧州連合と米国での規制議論に影響を与え、高度なAIシステムの義務的な安全性テストの提案を含んでいた。FLIの年次助成金は数十の研究プロジェクトを支援し、その多くは現在深層学習の実践で標準となっているバッチ正規化やドロップアウトなどの技術の開発に貢献した。研究所の価値整合性への強調は、後の組織が使用する憲法的AIや他の整合性手法の台頭を予兆していた。2025年現在、FLIは研究の発表と会議の開催を続けており、責任あるAI開発のための監視役および促進役としての役割を維持している。

インフォボックス

日付: 2015年1月
場所: プエルトリコ
参加者: マックス・テグマーク、ヤーン・タリン、ニック・ボストロム、スチュアート・ラッセル、デミス・ハサビス、イーロン・マスク、スティーブン・ホーキング
成果: Future of Life Instituteの設立、AI安全性に関する公開書簡の発表