Jurassic-1は、イスラエルの人工知能企業AI21 Labsによって開発された大規模言語モデル（LLM）のファミリーである。2021年8月にリリースされ、最大のバリエーションであるJurassic-1 Jumboが1780億のパラメータを含み、OpenAIのGPT-3の規模に匹敵する最初の商業的に利用可能なLLMの一つとなった。これらのモデルは、テキスト生成、要約、質問応答、コード生成を含む幅広い自然言語処理タスク用に設計されており、商用APIを通じてアクセス可能である。
Jurassic-1はTransformer (architecture)アーキテクチャ、具体的にはGPT-3と同様の自己回帰型デコーダーのみのモデルに基づいている。公開されているテキストとコードの大規模なコーパスでトレーニングされ、高品質なフィルタリングと重複排除に重点が置かれた。モデルファミリーには、Jurassic-1 Jumbo（178Bパラメータ）とJurassic-1 Large（7.5Bパラメータ）の2つの主要なバリエーションが含まれ、どちらも同じアーキテクチャを共有するが規模が異なる。モデルは25万トークンの語彙を持つトークナイザーを使用しており、これはGPT-3の5万トークンの語彙よりも大きく、テキストのより効率的なエンコーディングを可能にする。
アーキテクチャとトレーニング
Jurassic-1モデルは、マルチヘッドアテンションとフィードフォワード層を備えた標準的なデコーダーのみのTransformer (architecture)を採用している。Layer Normalizationと残差接続構造を使用し、他の大規模LLMと同様の構成である。トレーニングプロセスでは、Adam最適化、Gradient Clipping、ウォームアップとコサイン減衰を備えた学習率スケジュールの組み合わせが利用された。モデルは、ウェブページ、書籍、その他の公開テキストから取得された約3000億トークンのデータセットでトレーニングされ、かなりの部分が英語であるが他の言語も含まれていた。
AI21 Labsは、低品質または重複したコンテンツを除去するためのカスタムデータフィルタリングパイプラインの使用を強調した。トレーニングはNVIDIA GPUのクラスターで実行されたが、具体的なハードウェアの詳細は完全には開示されなかった。同社はまた、モデルが指示に従い、質問応答や推論などのタスクを実行する能力を向上させるための「構造化プロンプティング」と呼ばれる技術を導入した。
能力とパフォーマンス
Jurassic-1は、SuperGLUEやその他のNLPタスクを含むさまざまなベンチマークで強力なパフォーマンスを示し、同様の評価でGPT-3の結果に匹敵またはそれを上回ることが多かった。モデルのより大きな語彙とトレーニングデータにより、稀な単語や多言語テキストをより効果的に処理できた。標準的なテキスト生成に加えて、Jurassic-1は、ファインチューニングなしで、少数ショット学習を使用して、固有表現認識、感情分析、テキスト分類などのタスクを実行できた。
モデルはまた、事前の例なしで質問に答えたり問題を解決したりできる「ゼロショット」推論機能をサポートしていた。AI21 Labsは公開プレイグラウンドとAPIをリリースし、開発者がJurassic-1をアプリケーションに統合できるようにした。APIは温度制御、top-pサンプリング、その他の生成パラメータのオプションを提供した。
同時代のモデルとの比較
リリース時、Jurassic-1は2020年にリリースされたOpenAIのGPT-3の直接の競争相手として位置付けられた。GPT-3が1750億のパラメータを持つのに対し、Jurassic-1 Jumboは1780億で、わずかに大きかった。しかし、Jurassic-1のトークナイザーはより大きな語彙を使用しており、特定のテキストに必要なトークン数を減らし、推論速度とコストを改善する可能性があった。AI21 Labsはまた、モデルが最大2,048トークンのシーケンス長を処理できることを強調し、これはGPT-3と同様であった。
Anthropicの後のモデルやGoogle DeepMindの取り組みとは異なり、Jurassic-1はリリース時に人間のフィードバックからの強化学習（RLHF）に焦点を当てておらず、むしろ教師あり学習と少数ショットプロンプティングに重点を置いていた。これにより、アプローチは元のGPT-3により類似していた。
影響と遺産
Jurassic-1は、OpenAI以外の企業からの最初の主要なLLMの一つであり、AI21 Labsを生成AI分野の重要なプレーヤーとして確立するのに貢献した。これは、ライティング支援、カスタマーサービスチャットボット、コンテンツ生成など、さまざまな商業アプリケーションで使用された。モデルのリリースはまた、モデルサイズの増加と大規模言語モデルのサービスとしての開発という広範なトレンドに貢献した。
AI21 Labsからのその後のモデル、例えばJurassic-2は、Jurassic-1から学んだアーキテクチャと教訓に基づいて構築され、トレーニングデータとアライメントの改善を組み込んだ。同社はしばらくの間、APIを通じてJurassic-1を提供し続けたが、最終的には新しいモデルに置き換えられて廃止された。Jurassic-1は、人工知能研究の歴史における注目すべきマイルストーンであり続け、競争力のあるLLMが最大のテック企業の外部でも開発できることを実証した。
評価と批判
Jurassic-1は、そのパフォーマンスとアクセシビリティについて肯定的なレビューを受け、多くの開発者がAPIの使いやすさと、モデルが一貫性があり文脈に関連したテキストを生成する能力を賞賛した。しかし、他のLLMと同様に、トレーニングデータの潜在的なバイアスや、そのような大規模モデルのトレーニングの環境への影響に関する批判に直面した。AI21 Labsはこれらの懸念を認め、責任ある使用に関するドキュメントを公開したが、モデルの重みを公開せず、独立した研究を制限した。
一部の研究者は、特定の推論タスクにおけるJurassic-1のパフォーマンスが小さなモデルよりも大幅に優れていないことを指摘し、規模だけの限界を強調した。これらの批判にもかかわらず、モデルのリリースはLLM市場での競争を促進し、分野の急速な進歩につながった。