2024年8月に発表されたJamba 1.5は、自然言語処理を専門とするイスラエルの企業AI21 Labsによる大規模言語モデルの進化における重要な一歩となった。このリリースでは、Jamba 1.5 LargeとJamba 1.5 Miniの2つのモデルが導入され、高性能を維持しつつ、効率性の向上と長いコンテキストの処理を実現するよう設計された。これらのモデルは、トランスフォーマーとMamba状態空間モデルの強みを組み合わせたハイブリッドアーキテクチャに基づいて構築され、計算コストと出力品質のバランスを取るためにmixture-of-expertsアプローチを採用している。
Jamba 1.5モデルは、最大256,000トークンのコンテキストウィンドウをサポートしており、書籍全体や大規模なコードベースなどの非常に長い文書を処理し、推論することができる。この能力は、効率性への重点と相まって、特に大量のテキストを処理する必要のあるエンタープライズアプリケーションにおいて、Jamba 1.5をオープンウェイトモデルの中での競争力のある選択肢として位置づけている。
背景と開発
AI21 Labsは、2017年11月にYoav Shoham、Ori Goshen、Amnon Shashuaによってイスラエルのテルアビブで設立された。同社は当初、2020年10月に発表されたAIベースの文章作成アシスタントであるWordtuneで注目を集め、Googleは後にこれを2021年のお気に入りの拡張機能の1つに挙げた。2021年8月には、AI21 LabsがAI21 StudioとJurassic-1言語モデルを導入し、25万以上のトークン語彙を特徴としていた。
同社の軌跡には、複数の資金調達ラウンドが含まれている。2019年1月の950万ドルのシードラウンド、2021年11月のWalden Catalystからの2,000万ドルの投資、Pitango Firstが主導した2,500万ドルのシリーズA、2022年7月の6,400万ドルのシリーズB、そしてGoogleとNvidiaが参加した2023年8月の1億5,500万ドルのシリーズCである。これらの投資は、2023年3月のJurassic-2のリリースを含む、ますます洗練されたモデルの開発を支援した。
Jamba 1.5の直接の前身は、2024年3月29日にリリースされた元のJambaモデルであった。Jambaは、mixture-of-experts設計を備えたハイブリッドMamba-SSMトランスフォーマーアーキテクチャに基づくオープンウェイトモデルであり、最大256,000トークンのコンテキスト長をサポートしていた。Jamba 1.5ファミリーはこのアプローチを洗練させ、効率性と性能を向上させた。
技術的アーキテクチャ
Jamba 1.5モデルは、トランスフォーマーのマルチヘッドアテンションとMamba状態空間モデルを統合したハイブリッドアーキテクチャを採用している。この組み合わせは、複雑な依存関係をモデル化するトランスフォーマーの能力と、長いシーケンスを処理する際の状態空間モデルの効率性という両方の強みを捉えることを目的としている。mixture-of-experts（MoE）メカニズムは、各トークンに対してモデルのパラメータのサブセットのみを活性化し、高い容量を維持しながら計算コストを削減する。
この設計により、Jamba 1.5は、純粋なトランスフォーマーモデルに典型的な二次スケーリングなしで長いコンテキストを処理でき、文書要約、長いテキストに対する質問応答、コード分析などのタスクでより効率的になる。モデルは多様なデータセットでトレーニングされ、そのオープンウェイトの性質により、研究者や開発者は特定のアプリケーション向けに微調整することができる。
リリースと入手可能性
Jamba 1.5は2024年8月にリリースされ、Jamba 1.5 LargeとJamba 1.5 Miniの2つのバリアントがあった。モデルはオープンライセンスの下で利用可能になり、幅広い使用と変更が可能になった。2024年9月には、AI21 LabsがAmazon Web Services（AWS）と提携し、エンタープライズアプリケーションへのAIモデルの統合を可能にするマネージドサービスであるAmazon BedrockでJamba 1.5ファミリーを提供した。この提携により、Jambaの長いコンテキスト機能を活用したい企業にとっての展開が促進された。
このリリースにより、Jamba 1.5はOpenAI、Anthropic、Google DeepMindなどの組織からの他のオープンウェイトモデルとの競争相手として位置づけられたが、これらの企業は主にプロプライエタリなモデルを提供している。Jamba 1.5の効率性と長いコンテキスト処理への重点は、高い計算コストを負担せずに大規模なデータセットを処理する必要のある開発者にアピールした。
性能とベンチマーク
AI21 Labsは、Jamba 1.5モデルが、自然言語理解、推論、コード生成タスクを含むさまざまなベンチマークで競争力のある結果を達成したと報告した。モデルは特に、最大256,000トークンのシーケンスにわたって精度を維持できる長いコンテキストタスクでの性能で注目された。これは重要な差別化要因であり、当時多くのモデルがこれほど長いコンテキストに苦労していた。
ハイブリッドアーキテクチャによる効率性の向上により、Jamba 1.5は同等の能力を持つモデルと比較して低い推論コストでこれらの結果を提供できた。これにより、計算リソースが限られている組織にとって魅力的なものとなった。
エンタープライズ採用とパートナーシップ
2024年9月のAWSとの提携は、エンタープライズ採用への大きな一歩であった。Jamba 1.5をAmazon Bedrockで利用可能にすることで、AI21 Labsは企業がAWSインフラストラクチャのセキュリティとスケーラビリティを備えてモデルをワークフローに統合できるようにした。この動きは、より広いオーディエンスにリーチするためにAI企業がクラウドプロバイダーと提携するというより広いトレンドの一部であった。
2025年3月には、AI21 Labsがプライベートエンタープライズ展開用にJamba 1.6をリリースし、複数のベンチマークで他のオープンモデルを上回ると主張した。同月、同社はGPT-4oやClaude 3.5 Sonnetなどのモデルの複雑なタスクにおける精度を向上させることを目的としたAIプランニングおよびオーケストレーションシステムであるMaestroを発表した。これらの開発は、AI21 Labsのエンタープライズソリューションへの継続的な焦点を示していた。
影響と評価
Jamba 1.5のリリースは、特にその革新的なハイブリッドアーキテクチャと長いコンテキスト機能により、AIコミュニティで好評を博した。これは、2017年のトランスフォーマー導入以来この分野を支配してきた純粋なトランスフォーマーアーキテクチャの代替としての状態空間モデルへの関心の高まりに貢献した。研究者や実践者は、実験とカスタマイズを可能にするオープンウェイトアプローチを高く評価した。
モデルはまた、mixture-of-experts設計が大規模モデルの実行にかかる環境的および金銭的コストを削減したため、AIにおける効率性についての議論を引き起こした。これは、AIをより持続可能にするための業界全体の取り組みと一致していた。
今後の方向性
Jamba 1.5に続いて、AI21 Labsはモデルファミリーの反復を続け、2025年3月にエンタープライズ利用向けに性能が向上したJamba 1.6をリリースした。同社はまた、複雑な多段階タスクにおけるAIシステムの信頼性を高めることを目的としたMaestroで製品エコシステムを拡大した。これらの取り組みは、ベンチマークスコアを押し上げるだけではなく、実用的で展開可能なAIソリューションに焦点を当てた戦略を示唆していた。
Jambaモデルで開拓されたハイブリッドアーキテクチャは、研究者が異なるモデルタイプを組み合わせてより良い効率性と能力を達成する方法を探求する中で、機械学習の今後の開発に影響を与える可能性がある。Jamba 1.5の成功は、状態空間モデルがトランスフォーマーと効果的に統合できることを実証し、研究の新しい道を切り開いた。
関連項目
参考文献
- AI21 Labs公式ドキュメントおよびプレスリリース。
- Jamba 1.5のリリースに関する業界レポート。
- ハイブリッドトランスフォーマー状態空間モデルに関する学術論文。