Jurassicは、2017年に設立されたイスラエルの人工知能企業であるAI21 Labsによって開発された大規模言語モデルのファミリーである。Jurassicシリーズは、商業用の大規模トランスフォーマーベースモデルとしては最も初期のものの一つであり、OpenAIやAnthropicのモデルに対抗する存在として位置づけられている。このファミリーには、2021年にリリースされたオリジナルのJurassic-1から、より新しいJurassic-2や特殊なバリエーションまで、複数の世代が含まれており、すべてテキスト補完、要約、質問応答などの自然言語理解および生成タスク向けに設計されている。
これらのモデルは、2017年に導入され、現代の生成AIシステムの大部分を支えるトランスフォーマーアーキテクチャに基づいている。AI21 Labsは、ニューラルネットワーク技術とAdamや学習率スケジューリングなどの最適化手法を用いて、Jurassicモデルを大規模なテキストコーパスで訓練した。Jurassicモデルは、AI21 Labsの独自APIを通じて利用可能であり、Amazon Web Services（AWS）、Microsoft Azure、Google Cloudなどのクラウドプラットフォームでも提供されており、開発者や企業がアクセスしやすくなっている。
歴史と開発
AI21 Labsは2021年8月にJurassic-1を発表し、J1-Jumbo（1780億パラメータ）とJ1-Large（75億パラメータ）の2つのモデルサイズを提供した。当時、J1-Jumboは公開されている最大の言語モデルの一つであり、1750億パラメータを持つOpenAIのGPT-3に匹敵するものだった。開発チームには、AI21の共同創業者であるEilon ReshefとDafna Sharon、および機械学習と計算言語学のバックグラウンドを持つ研究者が含まれていた。
2022年、AI21 LabsはJurassic-2をリリースし、指示追従と推論の改善を導入した。Jurassic-2ファミリーには、J2-Jumbo、J2-Grande、J2-Midなどのモデルが含まれ、パラメータ数は78億から1780億の範囲であった。これらのモデルは、カスタマーサービス、コンテンツ作成、コード生成などの生成AIアプリケーションを含む特定のユースケース向けに最適化された。
2023年までに、AI21 Labsは特殊なモデルでJurassicラインを拡張した。2023年10月、同社は多言語機能を強化した1780億パラメータのモデルであるJurassic-2 Ultraをリリースした。翌年、AI21はJurassic-2 MidとJambaを導入し、後者はトランスフォーマー層と状態空間モデルを組み合わせたハイブリッドアーキテクチャであり、長いコンテキストタスクの効率を向上させた。
アーキテクチャと訓練
Jurassicモデルはトランスフォーマーアーキテクチャ、具体的にはOpenAIのGPTシリーズでも使用されているデコーダーのみのバリアントに基づいている。これらのモデルは、マルチヘッドアテンションメカニズムを使用して入力シーケンスを処理し、位置エンコーディングを使用して単語の順序を捉える。訓練では一部のバリアントでクロスアテンションが使用されるが、コアアーキテクチャは自己回帰的であり、シーケンス内の次のトークンを予測する。
AI21 Labsは、大規模な分散コンピューティングリソースを使用してJurassicモデルを訓練し、おそらくNVIDIA GPU上で行われたが、具体的なハードウェアの詳細は公に文書化されていない。訓練プロセスには、データ拡張とカリキュラム学習戦略が含まれ、一般化を改善した。最適化は、確率的勾配降下法のバリアント（Adamなど）に依存し、勾配クリッピングと層正規化を使用して訓練を安定させた。
モデルは、テキスト生成にtop-kおよびtop-pサンプリング方法を使用し、出力のランダム性を制御するために温度スケーリングを使用する。翻訳や要約など、より決定的な出力が必要なタスクにはビームサーチが利用可能である。
機能と特徴
Jurassicモデルは、幅広い自然言語処理タスクをサポートしている。テキスト補完、要約、言い換え、質問応答を実行できる。また、コード生成と補完も処理でき、ソフトウェア開発ワークフローに役立つ。Jurassic-2以降のバージョンには指示追従機能が含まれており、ユーザーは微調整なしで自然言語でタスクを指定できる。
注目すべき特徴は、複数言語のサポートである。Jurassic-2モデルは100以上の言語のデータで訓練されており、特に英語、スペイン語、フランス語、ドイツ語、ヘブライ語に強みがあり、AI21 Labsのイスラエル起源を反映している。モデルはJSONやSQLなどの構造化入力もサポートしており、データベースやAPIとの統合を可能にしている。
AI21 Labsは、カスタムモデルの微調整、セマンティック検索、および「Wordtune Read」や「Wordtune Write」と呼ばれるファクトチェックツールなどの機能を含むAPIを備えた開発者プラットフォームを提供している。これらは別個の製品であるが、基盤となる技術を共有している。
他のモデルとの比較
Jurassicモデルは、OpenAIのGPT-3およびGPT-4、AnthropicのClaude、Google DeepMindのGeminiと直接競合している。ベンチマーク評価では、Jurassic-1 JumboはSuperGLUEやLAMBADAなどのタスクでGPT-3と同等のパフォーマンスを示したが、一部の推論ベンチマークでは遅れを取った。Jurassic-2は、特にマルチターン対話と指示追従でこれらのスコアを改善した。
主な差別化要因は、AI21 Labsのエンタープライズアプリケーションへの焦点である。同社はデータプライバシーを重視し、厳格なコンプライアンス要件を持つ組織にアピールするオンプレミス展開オプションを提供している。さらに、JurassicモデルはAWSのAmazon Bedrock、AzureのMicrosoft AIサービス、Google CloudのVertex AIを通じて利用可能であり、複数の統合パスを提供している。
アプリケーションとユースケース
Jurassicモデルはさまざまな業界で使用されている。カスタマーサービスでは、問い合わせを処理し問題を解決するチャットボットや仮想アシスタントを支えている。コンテンツ作成では、記事、マーケティングコピー、ソーシャルメディア投稿の下書きを支援している。法律および金融企業は、文書要約や契約分析にJurassicを使用している。
AI21 Labsはまた、Jurassicに基づく専門ツールも提供している。例えば、言い換えやトーン調整を提案するAI搭載のライティングアシスタントであるWordtuneなどがある。同社は、モバイルデバイスにAI機能を統合するためにSamsungと提携し、ハードウェア最適化のためにIntelと提携している。
パフォーマンスとベンチマーク
Jurassicモデルは、標準的なNLPベンチマークで評価されている。SuperGLUEベンチマークでは、J1-Jumboは82.4のスコアを達成し、GPT-3の83.5をわずかに下回った。LAMBADA言語モデリングテストでは、J1-Jumboは82.5%の精度に達した。Jurassic-2モデルは少数ショット学習で改善を示し、J2-JumboはMMLUベンチマークのいくつかのタスクでGPT-3を上回った。
2023年、AI21 LabsはJurassic-2 Ultraが一部のタスクでHELMベンチマークで最先端の結果を達成したと報告したが、独立した検証は限られている。同社はウェブサイトでパフォーマンス指標を公開しているが、詳細な評価方法論は常に開示されているわけではない。
可用性と価格
Jurassicモデルは、処理されたトークンに基づく従量課金モデルを提供するAI21 LabsのAPIを通じてアクセスできる。2024年時点で、価格は最小モデルで1,000トークンあたり0.01ドルから始まり、大きなモデルではそれに応じてスケールアップする。APIは同期および非同期リクエストの両方をサポートし、ほとんどのモデルで最大コンテキスト長は8,192トークンである。
AI21 Labsはまた、開発者がモデルを試すための無料ティアも提供している。エンタープライズ顧客は、専用インフラストラクチャやサービスレベル契約を含むカスタム契約を交渉できる。モデルは、AWS MarketplaceやAzure Marketplaceなどのクラウドマーケットプレイスでも利用可能である。
将来の方向性
AI21 Labsは、効率の改善と計算コストの削減に焦点を当てて、Jurassicファミリーの開発を続けている。同社は、大幅なパフォーマンス損失なしに、より小さく高速なモデルを作成するためにモデルプルーニングと残差ネットワーク技術を探求してきた。2024年、AI21はトランスフォーマー層とリカレントコンポーネントを組み合わせたハイブリッドアーキテクチャの研究を発表し、より長いシーケンスをより効率的に処理することを目指している。
同社はまた、AIフィードバックからの強化学習などの方法を使用して有害な出力を減らす、アライメントと安全性にも投資している。生成AIの分野が進化するにつれて、Jurassicモデルはテキストに加えて画像や音声を処理する可能性のある、よりマルチモーダルな機能を統合することが期待されている。
評価と影響
Jurassicモデルは、その強力なパフォーマンスとアクセシビリティにより、AIコミュニティで好評を得ている。AI21 Labsは、2022年の2億800万ドルのシリーズCラウンドを含む多額の資金を調達し、同社の評価額は14億ドルを超えている。モデルは学術研究や業界アプリケーションで使用され、支配的な米国テック企業以外での大規模言語モデルのより広範な採用に貢献している。
批評家は、JurassicモデルがGPT-4やClaudeと同じレベルの公的な認知を達成していないことを指摘しているが、これは一部には積極的なマーケティングが少ないためである。しかし、モデルは多言語機能とエンタープライズ焦点で評価されており、AI21 Labsは競争の激しいAI環境で注目すべきプレーヤーとなっている。