Gorillaは、カリフォルニア大学バークレー校のBAIR (Berkeley AI Research)ラボによって開発された大規模言語モデルです。このモデルは、自然言語の指示を実行可能な関数呼び出しに変換し、正確なAPI呼び出しを生成するように特別に設計されています。このモデルは2023年の研究論文で紹介され、外部ソフトウェアサービスと対話するAIシステムの信頼性を向上させるツールとして位置づけられています。
Gorillaの核となる革新は、その訓練方法論とAPI使用の領域への焦点にあります。幻覚を起こしたり、構文的に不正確なコードを生成する可能性がある汎用言語モデルとは異なり、Gorillaは大規模なAPIドキュメントと対応する呼び出し例のコーパスで微調整されています。これにより、クラウドサービスから機械学習ライブラリまで、数千もの異なるAPIの構造とパラメータを理解することができます。
訓練とアーキテクチャ
Gorillaは、他の現代の大規模言語モデルと同様に、基盤となるTransformer (architecture)アーキテクチャ上に構築されています。初期バージョンは、Metaが公開した基盤モデルであるLLaMA-7Bモデルから微調整されました。訓練プロセスには、標準的な微調整と検索メカニズムを組み合わせたRetrieval-Augmented Fine-Tuning（RAFT）と呼ばれる技術が関与しています。訓練中、モデルにはAPIドキュメントの断片がユーザーのクエリと正しいAPI呼び出しとともに提示されます。このアプローチにより、提供されたドキュメントに基づいた呼び出しを生成するようにモデルが訓練され、存在しない関数やパラメータを invent する可能性が低減されます。
訓練データは、Amazon Web Services、Microsoft Azure、Google Cloudサービス、および一般的な機械学習フレームワークのドキュメントを含む多様なソースから厳選されました。この広範なカバレッジにより、Gorillaは単純なデータストレージ操作から複雑なモデル展開ワークフローまで、幅広いタスクを処理できます。
能力とベンチマーク
Gorillaは、研究者がAPI呼び出し生成の精度を測定するために作成したデータセットであるAPIBenchベンチマークで評価されています。これらの評価において、Gorillaは、生成された呼び出しの正確性と幻覚エラーの削減の両方の点で、OpenAIのGPT-4を含む既存モデルよりも大幅な改善を示しました。このモデルは、多数の候補から正しいAPIを選択し、必要な引数を理解し、Pythonなどの言語で構文的に有効なコードを生成することができます。
Gorillaの重要な特徴の1つは、APIドキュメントの更新に適応する能力です。推論時に検索を使用することで、モデルは最新のドキュメントを応答に組み込むことができ、基盤となるサービスの変更に対してより堅牢になります。これは、クラウドコンピューティングと機械学習ツールの急速に進化する環境において特に重要です。
アプリケーションと影響
Gorillaの主な用途は、外部ツールやサービスと対話する必要がある生成AIエージェントの分野です。仮想アシスタント、自動化ワークフローシステム、コード生成ツールのバックエンドとして機能できます。自然言語とプログラムAPIの間の信頼性の高いインターフェースを提供することで、Gorillaは人間の意図と機械の実行の間のギャップを埋めるのに役立ちます。
Gorillaのリリースは、API対応言語モデルの分野におけるその後の研究に影響を与えました。検索と微調整を組み合わせたそのアプローチは、他の研究グループによって採用され、拡張されています。このモデルは、コードとモデルの重みが公開されているオープンソースの性質でも注目されており、他の研究者がこの作業を基に構築することができます。
制限と将来の方向性
その強みにもかかわらず、Gorillaには制限があります。その性能は、訓練中に使用されるAPIドキュメントの品質とカバレッジに依存しています。ニッチまたは文書化が不十分なAPIの場合、モデルは依然として誤った呼び出しを生成する可能性があります。さらに、すべての大規模言語モデルと同様に、Gorillaは入力プロンプトの表現に敏感であり、最適な結果を得るには慎重なプロンプトエンジニアリングが必要になる場合があります。
将来の研究の方向性には、より多くのプログラミング言語とAPIドメインをサポートするためのモデルの拡張、マルチステップのAPI対話を処理する能力の向上、および人間のフィードバックからの強化学習（Reinforcement Learning from AI Feedback (RLAIF)）とのより深い統合による出力のさらなる洗練が含まれます。バークレーのチームはモデルの反復を続けており、その後のバージョンは精度と効率の向上を目指しています。