EleutherAI

EleutherAIは、オープンソースのAIモデルとデータセットを開発する非営利の人工知能研究グループである。2020年に設立されたこの集団は、OpenAIのオープンソース版に相当する存在としてしばしば説明され、大規模言語モデルと関連研究へのアクセスを民主化することを目指している。2023年初頭には、正式に非営利研究機関であるEleutherAI Instituteとして法人化された。2025年時点で、この組織は広く使用されるトレーニングデータセットを維持し、解釈可能性やアライメントなどの分野で研究を行い、公共政策の議論にも参加している。

このグループはDiscordサーバーで始まり、数百人のボランティア研究者からなる協力的なコミュニティへと成長した。その活動は、自由に利用可能なモデルとデータセットを提供することで、新興企業や学術研究を促進し、生成AIの広範な分野に影響を与えてきた。

歴史

EleutherAIは2020年7月7日にDiscordサーバーとして始まり、暫定的な名称「LibreAI」の後、同月下旬にギリシャ語で自由を意味するeleutheriaにちなんで「EleutherAI」と改名された。創設メンバーはConnor Leahy、Leo Gao、Sid Blackで、彼らがGPT-3に類似した機械学習モデルを作成するための初期コードを共同執筆した。

2020年12月31日、グループは大規模言語モデルのトレーニング用に多様なテキストを厳選したデータセットであるThe Pileをリリースした。最初のモデルであるGPT-Neoは2021年3月21日にリリースされ、続いて2021年6月9日にGPT-J-6Bがリリースされた。これは当時最大のオープンソースのGPT-3類似モデルであった。これらのモデルはApache 2.0ライセンスの下でリリースされ、まったく新しいスタートアップの波を促進したと考えられている。

当初、EleutherAIは資金提供の申し出を断り、GoogleのTPU Research Cloud Programに計算資源を依存していた。2021年初頭までに、CoreWeaveとSpellMLからのGPUクラスターアクセスという形での資金提供を受け入れた。2022年2月10日には、これらの資源によって可能になったより大規模なモデルであるGPT-NeoX-20Bをリリースした。

2023年初頭、EleutherAIはStella Biderman、Curtis Huebner、Shivanshu Purohitが率いる非営利研究機関として法人化した。組織は解釈可能性、アライメント、科学研究に焦点を移した。これは、LLMのトレーニングとリリースが他の場所で一般的になっていたためである。

2024年7月、Proof NewsとWiredによる調査で、The Pileデータセットに48,000以上のチャンネルにわたる170,000以上のYouTube動画の字幕が含まれていることが判明し、盗用の非難と批判を招いた。これに対応して、EleutherAIは2025年に物議を醸す著作権素材を含まないデータセット「Common Pile」をリリースし、そこから2つのモデルをトレーニングした。英国のAI安全研究所と協力して、主要な概念を除去するためにトレーニングデータをフィルタリングすることで、有害な情報を減らしながら性能を維持できることも発見した。

研究とモデル

EleutherAIの研究は複数の分野にわたり、数百人のボランティア貢献者がいる。グループはAIコミュニティで広く使用されるいくつかの注目すべきモデルとデータセットをリリースしてきた。

The Pile

The Pileは、大規模言語モデルのトレーニング用に設計された886 GBのデータセットである。元々はGPT-Neo用に開発されたが、MicrosoftのMegatron-Turing Natural Language Generationを含む他のモデルのトレーニングにも使用されてきた。その際立った特徴は、研究者によって選ばれた厳選データと徹底した文書化である。初期バージョンは、書籍やさまざまなメディアの字幕を含む著作権素材を含んでいることで批判に直面した。

Common Pile

2025年6月に多くの協力者と共同でリリースされたCommon Pile v0.1は、AIモデルのトレーニングに使用することを許可するライセンスを持つ作品のみを含む。これはThe Pileの著作権問題に対処するものである。

GPTモデル

EleutherAIはOpenAIのGPT-3に触発されたオープンソースの大規模言語モデルをトレーニングし、パラメータ数は1億2500万、13億、27億、60億、200億である。GPT-Neo（125M、1.3B、2.7B）は2021年3月にリリースされ、続いて2021年6月にGPT-J（6B）がリリースされ、どちらもリリース時点で最大のオープンソースのGPT-3スタイルモデルであった。GPT-NeoX-20Bは2022年2月10日に続いた。

VQGAN-CLIP

OpenAIが2021年1月にDALL-Eを公開アクセスなしでリリースした後、EleutherAIのKatherine CrowsonとデジタルアーティストのRyan Murdockは、通常の画像生成モデルをテキストから画像への合成モデルに変換するために、対照言語-画像事前学習（CLIP）を使用する技術を開発した。GoogleのDeepDreamからのアイデアに基づき、彼らはCLIPをVQGANと組み合わせてVQGAN-CLIPを作成した。Crowsonはこの技術を、人々が無料で実行できるノートブックを通じて共有した。

影響と政策

EleutherAIのオープンソースモデルとデータセットはAIエコシステムに大きな影響を与え、スタートアップや研究者が独自の制限なしに大規模言語モデルを扱えるようにした。組織はまた、公共政策の議論に参加し、オープンリサーチを提唱し、データ使用とモデル安全性に関する倫理的懸念に対処している。