MLC LLMは、大規模言語モデルの効率的なデプロイに焦点を当てた機械学習コンパイルフレームワークです。オープンソースプロジェクトとして開発されており、Apache TVMコンパイラスタックを活用して、LLMワークロードをコンシューマー向けGPU、モバイルデバイス、クラウドサーバーなどのさまざまなハードウェアバックエンドで実行される最適化されたコードに変換します。このプロジェクトは、LLM推論のための統一されたコンパイル経路を提供することでAIハードウェアの断片化に対処し、ベンダー固有のカーネルや手動最適化の必要性を減らすことを目指しています。
このフレームワークは、Apache TVMコミュニティに関連する研究者とエンジニアのチームによって紹介され、カーネギーメロン大学やワシントン大学などの機関からの貢献があります。その開発は2020年代初頭に始まり、エッジデバイスからデータセンターまでの環境全体で機械学習モデルをより移植可能でスケーラブルにするための広範な取り組みの一部として行われました。MLC LLMは、自動最適化の原則に基づいて構築されており、演算子融合、メモリ計画、量子化などの技術を使用して、手動で調整された実装に匹敵するパフォーマンスを実現します。
コンパイルワークフロー
MLC LLMの中核は、事前学習済みモデルを取得してデプロイ可能な成果物に変換するコンパイルパイプラインにあります。プロセスは、PyTorchなどのフレームワークまたはONNXなどの標準形式で指定されたモデルから始まり、TVMの中間表現を使用して最適化を適用します。これには、NVIDIA GPU用のCUDAカーネル、Appleシリコン用のMetalカーネル、その他のアクセラレータ用のVulkanまたはOpenCLカーネルの自動生成が含まれます。コンパイルされた出力は、元のトレーニングスタックを必要とせずにターゲットデバイスで実行されるランタイムにパッケージ化できます。
重要な機能は、LLM推論で可変入力長のために一般的な動的シェイプのサポートです。MLC LLMは、変化するテンソル次元に適応できるコードを生成することでこれを処理します。これは従来の静的コンパイルにおける大きな課題です。さらに、このフレームワークはHugging Faceエコシステムと統合されており、ユーザーがtransformersライブラリから直接モデルをインポートできるため、実務者のワークフローが簡素化されます。
ハードウェアサポート
MLC LLMは、LLMデプロイをアクセス可能にするために幅広いハードウェアをターゲットにしています。ROCmを介したAMD GPU、oneAPIを介したIntel GPU、Metalを使用したAppleデバイス用のバックエンドが含まれます。モバイルおよび組み込みシステム向けには、ARMベースのプロセッサやその他の低電力アクセラレータをサポートしています。このプロジェクトは、AWS TrainiumやGroqハードウェアなどの専門的なトレーニングおよび推論チップの実験的サポートも提供していますが、これらは主流のバックエンドほど成熟していません。
フレームワークの柔軟性はクラウド環境にも及び、NVIDIA T4またはA100 GPUを備えたAWSインスタンスや、TVMスタックを介したTPUを使用するGoogle Cloudでも実行できます。この広がりは、Generative AI業界で一般的な問題である、各プラットフォーム向けにデプロイコードをベンダーが書き直す必要性を排除することを目指しています。
主な機能と最適化
注目すべき機能の中でも、MLC LLMは投機的デコードを実装しています。これは、複数のトークンを起草して並行して検証することで推論を高速化する技術であり、自己回帰モデルのスループットを向上させます。また、4ビットおよび8ビット整数量子化などのさまざまな量子化スキームをサポートしており、リソースが限られたデバイスでのメモリフットプリントを削減し、速度を向上させます。これらの最適化は、ターゲットハードウェアの機能に基づいてコンパイル中に自動的に適用されます。
このプロジェクトには、RustとCで書かれた高性能ランタイムが含まれており、実行中の低オーバーヘッドを保証します。また、Python用のAPIとコマンドラインインターフェースを公開しており、研究者と本番開発者の両方に適しています。2024年時点で、MLC LLMはLlama 2やMistralなどのモデルをラップトップやスマートフォンで対話速度で実行するために使用されており、その実用的価値を示しています。
Apache TVMとの関係
MLC LLMは、ワシントン大学の研究者によって元々開発されたオープンソースの深層学習コンパイラであるApache TVMプロジェクトと密接に関連しています。TVMはグラフレベルおよび演算子レベルの最適化のための基盤インフラストラクチャを提供し、MLC LLMはキーバリューキャッシュやアテンションメカニズムの処理など、LLMワークロードに固有の高レベル抽象化でそれを拡張します。この関係により、MLC LLMはTVMの成熟したコンパイルパスと、産業界と学界からの貢献者を含む活発なコミュニティを継承できます。このコラボレーションは、手動のカーネルエンジニアリングではなくコンパイラベースのアプローチへのMachine learningにおける広範なトレンドを浮き彫りにしています。
コミュニティと採用
このプロジェクトはApache 2.0ライセンスの下でGitHubでホストされており、グローバルな開発者ベースからの貢献を奨励しています。ドキュメント、チュートリアル、事前コンパイル済みモデルが提供され、新しいユーザーの参入障壁を低くしています。MLC LLMは、効率的な推論の実験のためにBAIR (Berkeley AI Research)やStanford AI Labの研究者によって採用されており、異種フリートでLLMをデプロイする企業にとって実用的なツールとして機能しています。その開発は、リソースが豊富な組織を超えて高度なモデルへのアクセスを民主化するためのArtificial intelligenceコミュニティでの継続的な取り組みと一致しています。
フレームワークは進化を続けており、新しいモデルアーキテクチャとハードウェアのサポートを追加する定期的な更新があります。当初は推論に焦点を当てていましたが、これらの技術はトレーニングワークロードに拡張される可能性がありますが、これは依然として活発な研究分野です。
制限と将来の方向性
その強みにもかかわらず、MLC LLMは、技術的でないユーザーを遠ざける可能性のあるコンパイラエンジニアリングの複雑さを含む課題に直面しています。パフォーマンスの向上はハードウェアに依存しており、最適な結果を得るにはコンパイルフラグの調整が必要になる場合があります。チームは、オープンドライバを欠く古いデバイスや独自のアクセラレータとの互換性の問題を認識しています。将来の作業は、パフォーマンスチューニングの自動化を改善し、Nokia Bell Labs関連チップなどの新興ハードウェアのサポートを拡大し、エッジデプロイフレームワークと統合することを目指しています。プロジェクトの成功は、Deep learningエコシステム全体での継続的なコラボレーションと、コンパイラ研究への持続的な投資に依存します。