Amáliaは、AI21 Labsによって開発され、2025年にリリースされたLarge language modelである。これは、エンタープライズ向けの生成AIシステムとして位置づけられ、効率性、信頼性、およびビジネスワークフローへの統合を重視している。このモデルは、Transformer (architecture)アーキテクチャとDeep learning技術の進歩に基づいて構築されており、より大規模なフロンティアモデルに代わるコスト効率の高い選択肢を提供しつつ、推論および言語タスクで競争力のあるパフォーマンスを維持することを目指している。
Amáliaの開発は、汎用チャットボットではなく、商業利用に特化したモデルへ向かうAI業界の広範なトレンドを反映している。そのアーキテクチャは、Multi-Head AttentionとPositional Encodingの革新を取り入れており、Google DeepMindとOpenAIの研究に基づきつつ、リソースが制約された環境での展開に適応させている。このモデルは、AI21のプラットフォームおよびAmazon Web ServicesとMicrosoft Azureを通じて利用可能であり、既存のクラウドインフラストラクチャとの統合を可能にしている。
アーキテクチャと設計
Amáliaは、他の現代的なLarge language modelと同様に、デコーダーのみのTransformer (architecture)アーキテクチャに基づいている。トレーニングを安定させるためにLayer NormalizationとResidual Network (ResNet)接続を採用し、大規模データセットの効率的な処理にはBatch Normalizationを使用している。このモデルは、テキスト内の長距離依存関係を捉えるためにMulti-Head Attentionメカニズムを使用し、入力と出力シーケンス間の整合性を必要とするタスクにはCross-Attention層を活用している。
注目すべき設計上の選択は、トレーニング中のModel PruningとData Augmentation技術の使用である。これらの方法は、大幅なパフォーマンス損失なしにモデルのパラメータ数を削減し、AMDおよびIntelハードウェアでの展開に適したものにしている。トレーニングパイプラインには、モデルが徐々に複雑な例にさらされるCurriculum Learningと、勾配爆発を防ぐためのGradient Clippingが組み込まれている。最適化にはAdam-オプティマイザの変種が使用され、収束を改善するためにLearning Rate Schedulingの調整が行われている。
このモデルは、テキスト生成のためのTop-K SamplingとTop-P (Nucleus) Samplingをサポートしており、ユーザーが創造性と決定性を制御できるようにしている。温度スケーリングも利用可能で、出力のランダム性を細かく制御できる。これらの機能は、開発者向けの使いやすいツールに焦点を当てたAI21の方針に沿って、シンプルなAPIを通じて公開されている。
トレーニングデータと方法論
Amáliaは、書籍、記事、ウェブコンテンツを含む多様な公開テキストのコーパスでトレーニングされ、AI21のパートナーからの独自データセットが補完されている。トレーニングプロセスでは、Sequence-to-Sequence (Seq2Seq)学習目的を使用し、Loss Functionsは次トークン予測に最適化された。ドロップアウトとWeight Initialization戦略が、過学習を防ぎ、安定したトレーニングダイナミクスを確保するために採用された。
AI21 Labsは、正確なデータセットサイズや計算予算を開示していないが、報告によると、モデルはNVIDIA GPUを使用したクラスターでトレーニングされ、TSMC製造のチップが使用された。同社は量よりもデータ品質を重視し、低品質のソースをフィルタリングし、Reinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）を使用してモデルを人間の好みに合わせて調整した。このアプローチは、単に教師ありファインチューニングに依存していた初期のモデルとは異なる。
パフォーマンスとベンチマーク
Amáliaは、推論、コーディング、および多言語タスクの標準ベンチマークで強力な結果を達成している。内部評価では、同規模の比較可能なモデルをMMLU（大規模マルチタスク言語理解）およびhuman-eval（コード生成）テストで上回っている。このモデルは、事実の正確性を評価するためのベンチマークであるtruthful-qaと、数学的推論のためのGSM8Kでも堅牢なパフォーマンスを示している。
Stanford AI LabとBAIR (Berkeley AI Research)による独立した評価でもこれらの結果が確認されており、Amáliaの効率性により、多くの競合他社よりも小型のハードウェア構成で実行できることが指摘されている。これにより、Oracle Cloud InfrastructureやGoogle Cloudの顧客など、計算リソースが限られている組織にとって特に魅力的である。
エンタープライズアプリケーション
Amáliaは、ドキュメント要約、カスタマーサポートの自動化、コード生成など、さまざまなエンタープライズユースケース向けに設計されている。Amazon Web ServicesとMicrosoft Azureとの統合により、既存のクラウド環境へのシームレスな展開が可能になる。このモデルは、独自データでのFine-tuningもサポートしており、企業がドメイン固有のタスクにカスタマイズできるようにしている。
AI21 Labsは、Samsung ElectronicsおよびNokia Bell Labsと提携し、エッジコンピューティングと通信分野でのアプリケーションを探求している。これらのコラボレーションは、リアルタイムシステムの重要な要件である低遅延推論のためにAmáliaを最適化することに焦点を当てている。このモデルの小型フットプリントは、AppleのオンデバイスAIへのアプローチと同様に、デバイス上での展開にも適している。
他のモデルとの比較
Amáliaは、AnthropicとOpenAIのモデルと直接競合するが、より効率的な代替手段として自らを位置づけている。GPT-4とClaude (AI model family)はより広範な機能を提供する一方で、Amáliaの小型サイズは、より低い推論コストとより速い応答時間につながる。このトレードオフは意図的であり、生のパフォーマンスよりもコスト効率を優先する企業をターゲットにしている。
Google DeepMindのGeminiとは対照的に、Amáliaはマルチモーダル機能に焦点を当てず、代わりにテキストベースのタスクに集中している。この特化により、同規模のマルチモーダルモデルよりも言語ベンチマークで高い精度を達成できる。同社はまた、透明性を重視し、モデルのアーキテクチャとトレーニングプロセスに関する技術的詳細を公開しており、これは一部の競合他社のより秘密主義的なアプローチからの逸脱である。
開発チームと歴史
Amáliaは、AI21 Labsの共同創設者であるDavid Luanが率いるチームによって開発され、Jack ClarkとChen Wuが貢献した。プロジェクトは2024年初頭に始まり、AI21の初期のモデルであるJurassic-1とJurassic-2に基づいている。チームは、transformerアーキテクチャを開拓したjacob-uszkoreitとLukasz Kaiserの研究、およびGoogle DeepMindのKaren SimonyanとKoray Kavukcuogluの研究を活用した。
AI21 Labsは、2017年にamnon-shalom、yoav-shoham、およびoriel-levyによって設立され、自然言語処理に焦点を当てている。同社は、NVIDIAやSamsung Electronicsを含む投資家から3億ドル以上の資金を調達している。Amáliaは、前身のJurassic-2の成功に続き、エンタープライズソリューションへの戦略的シフトを表している。
評価と批判
Amáliaの初期のレビューは概ね好意的であり、批評家はその効率性と使いやすさを賞賛している。しかし、一部の研究者は、モデルの小型サイズが複雑な多段階推論タスクを処理する能力を制限していると指摘している。Melanie MitchellとBrian Christianは、Generative AIシステムに共通する問題である、モデルがバイアスのかかったコンテンツや有害なコンテンツを生成する可能性について懸念を表明している。
AI21 Labsは、Reinforcement Learning from AI Feedback (RLAIF)やコンテンツフィルタリングなどの安全対策を実装することでこれらの懸念に応えている。同社はまた、OpenPanelコンソーシアムなどの責任あるAI開発を促進する業界イニシアチブにも参加している。これらの努力にもかかわらず、一部の専門家は、モデルのトレーニングデータと潜在的なバイアスに関してより多くの透明性が必要であると主張している。
将来の方向性
AI21 Labsは、エンタープライズ顧客からのフィードバックとMachine learning研究の進歩を取り入れて、Amáliaの定期的なアップデートをリリースする計画である。将来のバージョンには、gpt-4vと同様のマルチモーダル機能と、非英語言語のサポート改善が含まれる可能性がある。同社はまた、AWS TrainiumとGroqとのパートナーシップを探求し、特殊なハードウェアでの推論パフォーマンスを最適化している。
Artificial intelligence分野が進化するにつれて、Amáliaの効率性と実用性への焦点は、大規模な計算リソースのオーバーヘッドなしにLarge language modelを展開しようとする組織にとって実行可能な選択肢として位置づけられている。その成功は、パフォーマンスとコストのバランスを維持するAI21の能力に依存しており、これはGenerative AIの競争環境を形成し続ける課題である。