IBM Graniteは、IBMによって作成された、デコーダーのみの大規模言語モデルおよび基盤モデルのシリーズです。2023年9月7日に発表され、その4日後に最初の論文が公開されました。これらのモデルは当初、IBMのクラウドベースのデータおよび生成AIプラットフォームであるWatsonx向けに設計され、他のモデルとともに提供されました。IBMは後に、コードに特化した一部のモデルのソースコードを公開し、寛容なライセンスの下で自由に利用できるようにしました。
Graniteモデルは、インターネット、学術出版物、コードリポジトリ、および法務・財務文書から抽出された厳選されたデータセットでトレーニングされています。このシリーズは、30億から340億までのパラメータサイズを網羅し、さまざまな導入ニーズに対応しています。
基盤モデルのアーキテクチャ
基盤モデルとは、大規模なデータでトレーニングされ、幅広い下流タスクに適応できるようにするAIモデルです。IBM Graniteモデルは、デコーダーのみのトランスフォーマーであり、シーケンス内の次のトークンを予測する生成言語モデルの一般的なアーキテクチャです。最初の基盤モデルであるGranite.13b.instructおよびGranite.13b.chatは、それぞれ130億のパラメータを持ち、これは同時代の多くの大規模モデルよりも小規模でした。後のバリエーションでは、パラメータ範囲が30億から340億に拡大され、さまざまな計算予算およびユースケースに対応する柔軟性が提供されました。
トレーニングデータのキュレーションでは、品質と多様性が重視され、学術論文、コードデータセット、および法務・財務などの専門分野が組み込まれました。このアプローチは、エンタープライズ向けタスクでのパフォーマンスを向上させることを目的としており、これはIBMの商用オファリングにとって重要な焦点です。
リリースおよびオープンソースコードモデル
2024年5月6日、IBMは、Granite Code Modelsの4つのバリエーションのソースコードを、Apache 2.0ライセンス（寛容なオープンソースライセンスであり、自由な使用、変更、共有を許可する）の下で公開しました。これらのモデルは、AIモデルをホストする人気のあるプラットフォームであるHugging Faceで利用可能になりました。IBMの内部レポートによると、Granite 8bモデルは、同様のパラメータ範囲内で、いくつかのコーディング関連ベンチマークでLlama 3を上回り、コード生成および理解における競争力のあるパフォーマンスを強調しました。
オープンソースのリリースは、他のベンダーからの一部のプロプライエタリモデルとは対照的に、コミュニティの採用とコラボレーションを促進するためのより広範な戦略の一部でした。IBMは、Graniteを、カスタマイズ可能なAIソリューションを求めるエンタープライズ向けの柔軟な代替手段として位置付けました
アプリケーションおよびエコシステム
Graniteモデルは、データ分析、生成AI、およびモデル展開のためのツールを提供するIBMのWatsonxプラットフォームに統合されています。これらのモデルは、コード生成、文書要約、および質問応答などのタスクに使用され、特にデータプライバシーとコンプライアンスが重要視される金融や法律などの規制産業で活用されています。オープンソースとクラウドベースの両方のアクセスを提供することで、IBMは、スタートアップから大企業までの幅広い顧客にサービスを提供することを目指しました。
オープンソースコードモデルのリリースにより、サードパーティの開発者は、Graniteを自社のインフラストラクチャ（Amazon Web Servicesや他のクラウドプロバイダを含む）でファインチューニングおよび展開できるようになりました。このエコシステムアプローチは、LLaMAやMistral AIなどのオープンモデルが勢いを増している、より広範なAIコミュニティのトレンドを反映しています
パフォーマンスおよび比較
IBMは、Graniteモデルが標準的なNLPおよびコーディングタスクで競争力のある結果を示すベンチマークを公開しています。例えば、Granite 8bモデルは、同様のパラメータ数であるにもかかわらず、コーディングベンチマークでLlama 3を上回ったと報告されています。ただし、これらの主張の独立した検証は限られており、パフォーマンスは特定のタスクおよび評価方法によって異なる場合があります。モデルは効率的になるように設計されており、小規模なバリエーションはエッジ展開に適し、大規模なものはクラウドベースのワークロードに適しています
関連項目
- Mistral AI、オープンソースモデルも提供する企業
- GPT
- LLaMA
- Gemini
参考文献
(この記事のスタイルに従い、外部リンクは含まれていません。)