キャッシュ言語モデルは、推論中に中間計算（アテンション層からのキーと値のペアなど）を保存して再利用するキャッシュ機構を組み込んだ大規模言語モデルの一種である。繰り返されるトークンやプロンプトに対する冗長な計算を回避することで、レイテンシと計算オーバーヘッドを削減し、リアルタイムアプリケーションやリソース制約のある環境で特に有用となる。このアプローチはAIと機械学習の分野で活発な研究領域であり、学術的なプロトタイプと商用システムの両方に実装が登場している。
この概念は、多くの言語モデルクエリが共通のプレフィックスや繰り返しコンテンツ（システムプロンプト、少数ショット例、会話コンテキストなど）を共有するという観察に基づいている。キャッシュ言語モデルは、これらの共有部分に対するモデルの内部表現を再計算する代わりに、それらをメモリに保存し、必要なときに取得する。この設計は、現代の大規模言語モデルの基盤であるトランスフォーマーベースのアーキテクチャを最適化する広範な取り組みと一致している。
キャッシュ機構
キャッシュ言語モデルは通常、各トークンに対してアテンション機構によって生成されたキーと値を保存するキー・バリューキャッシュを採用する。生成中に、トークンシーケンスが以前に見たプレフィックスと一致する場合、モデルはキャッシュされたキー・バリューペアを再利用し、それらのトークンに対するフォワードパスをスキップできる。これはモデルプルーニングと類似しており、両者とも不要な計算を削減することを目的とするが、キャッシュはモデルサイズではなく推論時の効率に焦点を当てている。
一部の実装では、短期記憶と長期記憶を区別する階層キャッシュを使用する。短期キャッシュは単一セッション内の最近のコンテキストを処理し、長期キャッシュはセッションをまたいで持続し、繰り返し利用するユーザーやアプリケーションに対して高速な応答を可能にする。キャッシュサイズと退避ポリシーは、メモリ使用量とヒット率に影響するため、重要な設計上の選択である。
トレーニングと最適化
キャッシュ言語モデルは、Adamなどの標準的な確率的勾配降下法の変種を用いてトレーニングでき、学習率スケジュールと勾配クリッピングを適用してトレーニングを安定させる。キャッシュ自体は通常学習されるものではなく実行時コンポーネントであるが、再利用される可能性が高いトークンを予測する学習型キャッシュポリシーを探求する研究も存在する。
トレーニング中、モデルは繰り返しコンテンツをシミュレートする合成データにさらされ、キャッシュに適した表現を生成するよう促される。データ拡張技術も、キャッシュされるパターンの多様性を高めるために適用できる。ただし、コアとなるトレーニング目的は標準的な言語モデルと同じであり、損失関数（交差エントロピーなど）の最小化である。
アプリケーション
キャッシュ言語モデルは、クエリ量が多く入力が反復的なシナリオで特に価値がある。例えば、Amazon Web Services、Microsoft Azure、Google Cloud、Oracle Cloudは、大規模アプリケーションを実行する顧客のコスト削減にキャッシュが役立つマネージド推論サービスを提供している。GroqとSambaNovaも、キャッシュベースの推論を高速化するためのハードウェア・ソフトウェア協調設計を探求している。
会話型AIでは、キャッシュ言語モデルにより、長い対話履歴を維持するチャットボットの応答時間を短縮できる。また、開発者が類似のコードパターンを頻繁に繰り返すコード補完ツールでも使用される。この技術は、top-kサンプリング、top-pサンプリング、温度スケーリングなどの生成手法と互換性があり、キャッシュはデコーディング戦略とは独立して動作する。
課題と今後の方向性
主要な課題の1つは、特に数十億のパラメータを持つ非常に大規模なモデルにおけるキャッシュのメモリフットプリントである。長いシーケンスのキー・バリューペアを保存すると、かなりのメモリを消費し、速度とリソース使用量のトレードオフが生じる。研究者は、この問題を軽減するための圧縮技術やレイヤー正規化の調整を調査している。
もう1つの未解決の問題は、モデルが更新またはファインチューニングされたときのキャッシュ無効化である。モデルの重みが変わると、キャッシュされた値が古くなる可能性があり、慎重な管理が必要となる。将来の研究では、ユーザーの行動に適応する学習型キャッシュポリシーや、残差ネットワークやその他のアーキテクチャ革新との統合が含まれる可能性がある。キャッシュ言語モデルの開発は、ニューラルネットワークと深層学習の進歩と密接に関連しており、今後数年間も活発な研究領域であり続けるだろう。