ルーターネットワークは、ゲーティング関数または重み付け関数とも呼ばれ、混合専門家（MoE）機械学習モデルにおける構成要素です。これは入力を受け取り、各専門家ネットワークが出力にどれだけ寄与するかを決定する一連の重みを生成します。現代の大規模言語モデルでは、ルーターネットワークは各入力トークンに対して少数の専門家のみを選択するためにしばしば使用され、この技術はスパース活性化と呼ばれ、計算コストを削減しながらモデルの容量を維持します。
MoEにおけるルーティングの概念は、委員会機械や局所専門家の適応混合に関する初期の研究に遡ります。典型的なMoEアーキテクチャでは、複数の専門家ネットワークが存在し、それぞれが入力空間の異なる領域に特化する可能性があり、ルーターネットワークは入力を適切な専門家に割り当てることを学習します。ルータの出力は、専門家上の確率分布、または専門家出力と重み付き和で組み合わされる非負の重みの集合であり得ます。
基本アーキテクチャ
標準的なMoE設定では、ルーターネットワークは関数 \( w(x) \) であり、入力 \( x \) を重みのベクトル \( (w(x)_1, ..., w(x)_n) \) にマッピングします。ここで \( n \) は専門家の数です。最終出力は \( f(x) = \sum_{i=1}^n w(x)_i f_i(x) \) として計算され、ここで \( f_i \) は \( i \) 番目の専門家です。ルータと専門家の両方は、通常、平均二乗誤差やクロスエントロピーなどの損失関数に対する勾配降下法によって共同で訓練されます。
ルーターネットワーク自体は、しばしば小さなニューラルネットワークであり、例えば線形層の後にソフトマックス活性化が続くものです。スパースMoEモデルでは、ルータはトップk選択メカニズムを使用することがあり、最も高い重みを持つ専門家のみが活性化され、残りは無視されます。このスパース性は計算コストを削減する鍵であり、モデルが各入力に対して総パラメータの一部のみを使用することを可能にします。
歴史的発展
複数の専門家を組み合わせるためにゲーティングネットワークを使用するアイデアは、1990年代に探求されました。初期の例の一つはメタパイネットワークであり、ハンプシャーとワイベルによって報告され、専門家出力の重み付き和を使用し、音素分類タスクで訓練されました。彼らの実験では、6人の日本語話者からの音声を分類するために、それぞれ時間遅延ニューラルネットワークである6つの専門家を訓練しました。彼らは、ルーターネットワークが5つの専門家を5人の個別の話者に専念させることを学習し、6人目の話者の声は他の男性話者の専門家の組み合わせによって処理されたことを観察しました。
もう一つの影響力のある初期モデルは、局所専門家の適応混合であり、ガウス混合モデルを使用しました。このアプローチでは、各専門家が固定共分散を持つガウス分布を予測し、ルータは入力に基づいて重みを割り当てる線形ソフトマックス関数でした。このモデルは、ルーティングが入力空間を均質な領域に分割するために使用でき、各専門家が局所領域に特化することを実証しました。
現代の大規模言語モデルにおける役割
2020年代には、ルーターネットワークはMoE層を使用する大規模言語モデル（LLM）の中心的な構成要素となりました。Google DeepMindやOpenAIなどの企業によって開発されたモデルは、推論コストを比例的に増加させずにパラメータ数をスケールアップするためにスパースMoEアーキテクチャを採用しています。これらのモデルでは、各トランスフォーマー層が複数の専門家を含むことができ、ルーターネットワークがトークンごとにいくつかの専門家を選択します。
例えば、トランスフォーマーベースのLLMでは、入力トークン埋め込みがルーターネットワークを通過し、専門家上の確率分布を計算します。ルータはその後、トップk専門家（例えば、k=2またはk=4）を選択し、それらの専門家の出力の重み付き和として出力を計算します。これにより、モデルは数十億のパラメータを持ちながら、各トークンに対して小さなサブセットのみを活性化し、訓練と推論をより効率的にします。
スパース活性化と負荷分散
スパース活性化は、MoEモデルにおけるルーターネットワークの主要な利点です。各入力に対して少数の専門家のみを活性化することにより、モデルは大きな総パラメータ数を持つことができますが、実効的な計算コストははるかに小さくなります。しかし、これにより負荷分散の課題が生じます。ルータが一貫して同じ少数の専門家を選択する場合、それらの専門家は過負荷になり、他の専門家は十分に利用されません。これに対処するため、現代のMoEモデルは、ルータがトークンを専門家間でより均等に分配することを促進する補助損失関数をしばしば含みます。
ルータの性能を向上させるために様々な技術が提案されており、例えば、探索を促進するために訓練中にルータのロジットにノイズを追加する方法や、微分可能なトップk選択を使用する方法があります。一部のモデルは階層的ルーティングスキームも使用しており、第1レベルのルータが専門家のグループを選択し、第2レベルのルータがそのグループ内で選択します。
他の技術との関連
ルーターネットワークは、マルチヘッドアテンションやクロスアテンションなど、機械学習の他の概念と密接に関連しており、これらも入力に基づいて異なる構成要素を重み付けします。しかし、アテンションメカニズムが入力シーケンスの異なる部分を重み付けするのに対し、ルーターネットワークは異なる専門家ネットワークを重み付けします。専門家ネットワークは通常、独立した関数近似器です。
ルーターネットワークは、モデルプルーニングとも類似点を共有しており、両方とも計算コストを削減することを目的としていますが、プルーニングはパラメータを永続的に削除するのに対し、ルーティングは各入力に対してどのパラメータを使用するかを動的に選択します。さらに、ルーターネットワークはアンサンブル学習の一形態と見なすこともできます。複数のモデルの出力を組み合わせるためですが、伝統的なアンサンブルとは異なり、専門家はルータと共同で訓練されます。
実装と訓練
実際には、ルーターネットワークは線形層として実装され、入力表現を受け取り、各専門家のロジットを出力します。ロジットはその後、ソフトマックス関数を通過して重みを生成します。訓練中、ルータと専門家はバックプロパゲーションを使用して共同で更新されます。損失関数は通常、タスク損失（例えば、言語モデリングのためのクロスエントロピー）と補助的な負荷分散損失の両方を含みます。
ルーターネットワークの訓練における一つの課題は、専門家の離散的な選択（例えば、トップk）が微分不可能であることです。これを克服するため、多くの実装は訓練中にソフトマックス重みを直接使用するか、トップk選択にストレートスルー推定器を使用します。一部のモデルは各層に別々のルーターネットワークを使用し、異なる層が異なるタイプのルーティング決定に特化することを可能にします。
言語モデル以外の応用
ルーターネットワークはLLMで最も顕著ですが、他の領域でも使用されています。例えば、コンピュータビジョンでは、ルータを持つMoE層が画像分類や生成タスクに適用されています。音声認識では、初期のMoEモデルが音響空間を分割するためにルータを使用しました。ルーターネットワークは強化学習でも使用されており、異なる専門家が異なるポリシーを表すことができ、ルータは状態に基づいて適切なポリシーを選択します。
人工知能研究の文脈では、ルーターネットワークは活発な研究領域であり、ルーティング効率、解釈可能性、スケーラビリティの向上に関する進行中の作業があります。スタンフォードAIラボやバークレーAIリサーチなどの機関の研究者は、大規模モデルにおけるルータの挙動の理解に貢献しています。
課題と将来の方向性
その成功にもかかわらず、ルーターネットワークはいくつかの課題に直面しています。一つの問題は、ルータがすべての入力を処理し、迅速にルーティング決定を行う必要があるため、ボトルネックになる可能性があることです。もう一つの課題は、ルータが全体のタスクにとって最適ではない方法で入力をルーティングすることを学習する可能性があり、性能の低下につながることです。さらに、補助的な負荷分散損失が主タスク損失と干渉する可能性があり、注意深い調整が必要です。
将来の研究は、入力の内容をより微妙な方法で考慮する学習されたルーティングポリシーや、各レベルで考慮される専門家の数を減らす階層的ルーティングなど、より洗練されたルーティングメカニズムを探求するかもしれません。また、特定の入力が特定の専門家にルーティングされる理由を理解できるように、ルータをより解釈可能にすることへの関心もあります。
要約すると、ルーターネットワークはMoEモデルにおける基本的な構成要素であり、効率的なスケーリングと特化を可能にします。初期のゲーティング関数からLLMにおける現代のスパースルータへのその発展は、数十年にわたる機械学習技術の進化を示しています。