GPT-Neoは、AI研究者や愛好家のコミュニティであるEleutherAIコレクティブによって開発された、オープンソースの大規模言語モデルシリーズである。2021年に公開されたGPT-Neoは、OpenAIのGPT-3のアーキテクチャと能力を再現することを目的としつつ、一般に自由に利用できるように設計されており、主要なプロプライエタリモデルの排他性と不透明性に対する懸念に対処した。このプロジェクトは、大規模な深層学習および生成AI技術へのアクセスを民主化することを目指した。
GPT-Neoファミリーは、主に2つのモデルで構成される:125Mパラメータ版と1.3Bパラメータ版である。1.3Bモデルは、EleutherAIが構築した多様な825ギガバイトの英語データセットであるPileで訓練され、さまざまなベンチマークにおいて同規模のGPT-3モデルに匹敵する性能を示した。モデルはHugging Faceのtransformersライブラリを使用して実装され、さまざまな自然言語処理タスクに容易に使用および微調整できるようにした。
開発とアクセシビリティ
EleutherAIは2020年に開発を開始し、プロプライエタリなAPIとして公開されていたGPT-3の成功を再現することを目指した。ボランティアで構成されたチームは、他のAI研究機関に典型的な大規模な企業予算なしでモデルを訓練し公開するために取り組んだ。モデルは2021年3月に公開され、続いて2021年11月にGPT-Neo 2.7Bが公開された。より大規模なモデルには、さらに大きなサイズにスケールできる訓練コードが付属しており、このプロジェクトはその後、GPT-J、さらにはGPT-NeoXファミリーの開発につながった。
GPT-Neoのオープンソースの性質により、コミュニティはアーキテクチャ、訓練手順、重みを検査でき、機械学習およびニューラルネットワークの効率性に関する研究を促進した。また、小規模な組織や個人が、高額なAPIサービスやプロプライエタリソフトウェアに依存せずに、高度な言語モデルを展開できるようにした。
アーキテクチャと訓練
GPT-Neoのアーキテクチャは、多くの現代の言語モデルの基盤であるトランスフォーマーに基づいており、因果的注意を備えた多層デコーダを使用する。各モデルは、マルチヘッド注意、残差接続、層正規化を含むトランスフォーマーブロックの多数の層で構成される。訓練プロセスでは、Adamオプティマイザを使用し、元のGPT-3論文で説明されているように、ウォームアップフェーズを伴う学習率スケジュールに従った。
訓練は均一なGPUクラスターで実行され、2.7Bモデルには512基のV100 GPUが使用されたと報告されている。データセットであるPileは、学術論文、ウェブページ、書籍、コードからの多様なテキストで構成され、一般的な言語タスクの広範なカバレッジを提供する。モデルは、重み初期化スキームを除いて、事前訓練の利点なしにゼロから訓練された。
能力と使用例
GPT-Neoはプロンプトを受け入れ、幅広いトピックにわたって一貫性のある多様なテキストを生成する。質問応答、要約、創造的執筆などのタスクを実行できる。小型の125Mモデルはリソースが制約された環境に適しており、1.3Bおよび2.7Bモデルはより高品質な出力を生成できるが、より多くの計算リソースを必要とする。
オープンライセンスのため、GPT-Neoは多くの学術研究や製品で使用されている。これは、スケーラブルなモデルにおける新しい訓練技術を評価するためのベースラインとして機能する。多くの研究者や開発者は、プロプライエタリシステムの制限なしに大規模言語モデルの動作を探求するためにこれを使用している。GitはGPT-3アーキテクチャを実験用に公開するのに役立ち、現在もこの分野の初心者にとっての足がかりとして機能している。
比較と影響
商用APIを通じて公開されオープンソース化されなかったOpenAIのGPT-3とは異なり、GPT-Neoモデルは完全にダウンロード可能であり、ローカルで実行できる。この開放性は、バイアスや誤用に関する懸念を含む、言語モデルの技術的および社会的影響に関する研究を促進する。GPT-NeoはGPT-3(175B)ほど大きくはないが、多くのタスクでの性能は、十分な訓練プロンプトがあれば、より小さいモデルでも印象的な結果を達成できることを示した。
GPT-Neoの公開は、NVIDIAのMegatronやHugging FaceのTransformers統合などの他のオープンソースの取り組みにも影響を与え、後のEleutherAIモデルであるGPT-JやGPT-NeoXへの道を開いた。これらの発展は、大規模モデルの必要性と、AIの民主化におけるオープンソースの役割に関する議論を激化させた。
ライセンスと評価
モデルはMITライセンスの下で公開されており、商用利用と変更が無制限に許可されている。この寛容なライセンスにより、GPT-Neoはスタートアップや研究者にとって人気のある選択肢となっている。この公開は肯定的に受け止められ、一部のAI大手の閉鎖的な方針に挑戦する大胆な動きとして説明された。
しかし、GPT-Neoは、特に誤分類の可能性に関して、オープンソースAIの収益化についての疑問も提起した。EleutherAIは保証や責任を提供しておらず、モデルは訓練データに存在するバイアスを反映する可能性がある。多くのAIモデルと同様に、これらのリスクを軽減するために、出力の慎重な使用と検証が推奨される。
遺産
GPT-NeoシリーズはAI史上の重要なマイルストーンであり、高品質な言語モデルが企業組織だけでなくコミュニティグループによってもオープンに作成および共有できることを実証した。これはAIの民主化に貢献し、その後のモデルアーキテクチャと訓練方法論に影響を与えた。2023年現在、GPT-Neoはさまざまな研究分野やデジタルアプリケーションで広く使用され続けており、オープンなエコシステムが人工知能技術の進歩を促進し、それをより根本的なものにする方法の例を示している。