パラメータサーバーは、機械学習において、複数のトレーニングワーカー間でモデルのパラメータを保存、更新、同期するために使用される分散コンピューティングアーキテクチャです。この設計では、中央または分散されたサーバーのセットがグローバルモデルパラメータを保持し、ワーカーノードはローカルデータシャードで勾配を計算し、更新をサーバーに送信します。サーバーはこれらの更新を集約し、共有パラメータを更新し、ワーカーは次の反復のためにそれらを取得します。このアプローチは計算を状態管理から分離し、単一マシンのメモリと帯域幅の制限を超えてトレーニングをスケーリングできるようにします。
パラメータサーバーモデルは、ディープラーニングモデルが単一マシンには大きすぎるようになった2010年代初頭に登場しました。初期の分散トレーニングは単純なオールリデュース戦略を使用していましたが、これらは全ノード間での頻繁で高帯域幅の通信を必要としました。パラメータサーバーはハブアンドスポークパターンを導入しました。ワーカーはサーバーとのみ通信し、ネットワークの輻輳を減らし、非同期更新を可能にしました。このアーキテクチャは、オールリデュースやリングオールリデュースのようなより分散化された手法が台頭する前に、初期の大規模言語モデルを含む大規模なニューラルネットワークのトレーニングの基盤となりました。
歴史的発展
パラメータサーバーの概念は、アレクセイ・エフロスと同僚による2010年の論文で形式化されましたが、この用語は後の研究で広まりました。2012年には、グーグル・ディープマインドの研究者が共有パラメータストアを使用してディープネットワークをトレーニングするための分散フレームワークを提案しました。マイケル・ジョーダンらによる2013年の重要な論文は、分散ハッシュテーブルを使用してパラメータを保存し、同期および非同期更新の両方をサポートする分散パラメータサーバーアーキテクチャを導入しました。この設計は、DistBelief（Google）、Project Adam（Microsoft）、Petuum（カーネギーメロン大学）などの後続システムに影響を与えました。
2014年には、バークレーAIリサーチがBosenをリリースしました。これは、柔軟な一貫性モデルを導入し、ユーザーが古さとスループットをトレードオフできるようにしたパラメータサーバー実装です。同年、アマゾン・ウェブ・サービスはパラメータサーバートレーニングをサポートするGPUクラスターを提供し始め、このアーキテクチャをスタートアップや学術研究所にアクセス可能にしました。2016年までに、パラメータサーバーは業界で大規模モデルのトレーニングのデフォルトの選択肢となり、TensorFlowやMXNetなどのフレームワークが組み込みサポートを提供しました。
アーキテクチャとコンポーネント
典型的なパラメータサーバーシステムは、サーバーノード、ワーカーノード、スケジューラの3つの役割で構成されます。サーバーノードはグローバルパラメータを維持し、一貫性ハッシュを使用して複数のマシンに分割します。各サーバーはパラメータのサブセットを保存し、ワーカーからの更新要求を処理します。ワーカーはローカルデータバッチで勾配を計算し、スパースまたはデンスな更新を関連するサーバーに送信します。スケジューラはジョブ配置、障害回復、一貫性制御を調整します。
通信はプッシュプルパターンに従います。ワーカーは勾配をサーバーにプッシュし、更新されたパラメータをプルします。帯域幅を減らすために、ワーカーは実際に更新したパラメータの勾配のみを送信（スパース更新）することが多く、サーバーは量子化や勾配クリッピングを使用して勾配を圧縮する場合があります。このアーキテクチャは同期モードと非同期モードの両方をサポートします。同期トレーニングでは、すべてのワーカーがステップを完了するまでサーバーは更新を適用せず、一貫性を保証しますが、ストラグラー遅延を引き起こします。非同期トレーニングでは、ワーカーが独立して進行でき、スループットを向上させますが、古い勾配を導入します。
同期および非同期更新
同期パラメータサーバートレーニングはバリアを使用します。各反復後、サーバーはすべてのワーカーが勾配を送信するのを待ってから、平均化してモデルを更新します。これにより、各ステップですべてのワーカーが同じパラメータを見ることが保証され、収束分析が簡素化されます。ただし、遅いワーカー（ストラグラー）がトレーニングプロセス全体のボトルネックになる可能性があります。バックアップワーカーや境界付き古さなどの技術は、ワーカーの一部が遅れることを許可することでこれを緩和します。
対照的に、非同期更新では、ワーカーは準備ができたときにいつでも勾配を送信でき、サーバーはそれらを即座に適用します。これによりアイドル時間がなくなり、異種クラスターでのトレーニングを大幅に高速化できます。欠点は、ワーカーが古いパラメータで勾配を計算する可能性があり、収束が遅くなったり、振動を引き起こしたりすることです。アニマ・アナンドクマールらによる研究は、非同期SGDが特定の条件下で収束できることを示しましたが、学習率スケジュールの慎重な調整が必要になることがよくあります。多くの本番システムはハイブリッドアプローチを使用します。ラック内では非同期、ラック間では同期です。
フォールトトレランスと一貫性
パラメータサーバーはノード障害を優雅に処理するように設計されています。サーバーはパラメータシャードを複数のマシンに複製します。1つが失敗した場合、レプリカが引き継ぎます。ワーカーも、グローバル状態がサーバー上にあるため、進行状況を失うことなく再起動できます。この回復力は、大規模クラスターでの長時間実行トレーニングジョブにとって重要です。
パラメータサーバーの一貫性モデルは、最終的一貫性から強い一貫性までさまざまです。最終的一貫性では、ワーカーがわずかに古いパラメータを見る可能性があり、パフォーマンスは向上しますが、収束に悪影響を与える可能性があります。強い一貫性では、すべてのワーカーが同じバージョンのパラメータを見る必要があり、コストがかかります。Bosenのようなシステムは設定可能な一貫性レベルを導入し、ユーザーが精度と速度のトレードオフを選択できるようにしました。この柔軟性により、パラメータサーバーは画像分類から強化学習まで、幅広いアプリケーションにとって魅力的なものになりました。
アプリケーションと影響
パラメータサーバーは、初期のディープラーニングモデルを大規模にトレーニングする上で重要な役割を果たしました。GoogleはDistBeliefと呼ばれるバリアントを使用して、2012年にYouTubeビデオを認識するニューラルネットワークをトレーニングしました。2014年には、メタ（当時はFacebook）がパラメータサーバーを使用して写真内の顔を識別するモデルをトレーニングし、ほぼ人間レベルの精度を達成しました。このアーキテクチャは、パラメータ数が膨大なトランスフォーマーベースのモデルのトレーニングも可能にしました。たとえば、2017年の元のトランスフォーマー論文では、パラメータサーバーを使用して8つのGPUで6500万パラメータのモデルをトレーニングしました。
ディープラーニングを超えて、パラメータサーバーはロジスティック回帰、行列分解、グラフ分析に適用されてきました。これらは、レコメンデーションシステムのようにモデルがスパースである場合に特に効果的で、バッチごとにパラメータのサブセットのみが更新されます。アリババクラウドやテンセントなどの企業は、パラメータサーバーを使用して数十億のパラメータを処理する大規模なレコメンデーションシステムを構築しています。
オールリデュースとの比較
モデルが大きくなるにつれて、パラメータサーバーの通信オーバーヘッドがボトルネックになりました。リングまたはツリーパターンで全ワーカー間の勾配を集約するオールリデュースアルゴリズムは、帯域幅の利用効率が向上し、サーバーのボトルネックを回避します。2010年代後半には、HorovodなどのフレームワークがGPUクラスターでの同期トレーニングにオールリデュースを普及させました。単一マシンのメモリに収まるモデルでは、オールリデュースがよりシンプルで高速であることがよくあります。
ただし、パラメータサーバーは、非常に大きなモデルやスパース更新のシナリオで依然として優れています。パラメータを多くのマシンに分散できるため、単一ノードのメモリを超えることができます。また、オールリデュースが自然には提供しない非同期更新もサポートします。現代のシステムは両方を組み合わせることがよくあります。ノード内ではオールリデュース、ノード間ではパラメータサーバーを使用します。このハイブリッドアプローチは、一部の大規模言語モデルのトレーニングで使用されていますが、デンスモデルではDeepSpeedやMegatronなどの完全に分散化された方法への傾向がシフトしています。
現代の発展と衰退
数百億のパラメータを含む大規模言語モデルの出現により、パラメータサーバーアーキテクチャは、モデル並列性とパイプライン並列性に大部分が取って代わられました。テンソル並列性やパイプライン並列性などの技術は、モデル自体をGPU間で分割し、中央パラメータストアの必要性を減らします。NVIDIA MegatronやGoogleのSwitch Transformerなどのフレームワークはこれらの方法を使用しており、デンスで同期のトレーニングにはより効率的です。
それでも、パラメータサーバーは特定のニッチで関連性を保っています。たとえば、数百万の軌跡でトレーニングする強化学習システムは、データ生成に追いつくために非同期パラメータサーバーを使用することがよくあります。メタやアマゾンなどの企業のレコメンデーションシステムは、スパースで高次元の埋め込みを処理するためにパラメータサーバーに依然依存しています。勾配圧縮やトップkスパーシフィケーションを使用して通信を削減するなど、パラメータサーバーの効率向上に関する研究は続いています。
主要な研究とシステム
いくつかの影響力のあるシステムと論文がパラメータサーバーの状況を形作りました。マイケル・ジョーダンらによる2013年の論文「Scaling Distributed Machine Learning with the Parameter Server」は、中核設計を導入しました。カーネギーメロン大学のBosenシステム（2014年）は、柔軟な一貫性を備えた本番グレードの実装を提供しました。2016年にリリースされたTensorFlowの分散ランタイムは、ネイティブのパラメータサーバーサポートを含み、このアーキテクチャを広くアクセス可能にしました。PyTorchの分散パッケージもパラメータサーバープリミティブを提供しますが、オールリデュースを重視しています。
学術研究はパラメータサーバーのパフォーマンス向上を探求してきました。アニマ・アナンドクマールと共同研究者は、非同期SGDの収束を研究し、理論的保証を提供しました。勾配クリッピングやAdamオプティマイザーなどの適応オプティマイザーに関する研究は、パラメータサーバー実装に統合されています。このアーキテクチャは、中央サーバーがエッジデバイスからの更新を集約する連合学習システムの設計にも影響を与えました。
結論
パラメータサーバーは、分散機械学習の進化における重要な足がかりでした。以前は実現不可能だったモデルのトレーニングを可能にし、その原則は現代の分散システムに情報を提供し続けています。最先端のディープラーニングの支配的なアプローチではなくなりましたが、特定のワークロードにとって重要なツールであり、この分野の基礎的な概念であり続けています。