Mixture of Experts（MoE）ルーティングは、機械学習における手法であり、ニューラルネットワークが複数の専門化されたサブネットワーク（エキスパートと呼ばれる）と、各入力に対してどのエキスパートを活性化するかを選択するゲーティング機構を含むものである。現代の深層学習の文脈では、ルーティングはしばしばスパースであり、各トークンまたは入力に対して少数のエキスパートのみが使用される。これにより、モデルは総パラメータ数を非常に大きく保ちながら、同規模の高密度モデルよりも推論あたりの計算コストを低く抑えることができる。このアプローチは、大規模言語モデルや他の生成AIシステムをスケーリングするための基盤となっている。
この概念は、複数の学習器が問題空間を均質な領域に分割する古典的なアンサンブル学習に由来する。1990年代の初期の研究、例えばメタPiネットワークや適応的局所エキスパート混合は、理論的基盤を築いた。現代の実装では、MoEルーティングは典型的にトランスフォーマーアーキテクチャに統合され、フィードフォワード層が一連のエキスパートネットワークと、トークンを最も関連性の高いエキスパートに割り当てるルーターに置き換えられる。この設計により、Google DeepMindや他の研究所が開発したモデルは、効率的なトレーニングと推論で最先端の性能を達成できる。
歴史的起源
MoEルーティングのルーツは1990年代初頭に遡り、研究者たちが委員会機械やアンサンブル手法を探求していた時代にさかのぼる。注目すべき初期システムの1つは、HampshireとWaibelによって報告されたメタPiネットワークであり、これは複数の時間遅延ニューラルネットワークの出力を重み付け関数で組み合わせたものである。6人の日本語話者からの音素分類実験では、6つのエキスパートをトレーニングし、ゲーティング関数が各話者に1つのエキスパートを割り当てることを学習したが、1人の男性話者の音声は他の男性エキスパートの線形結合で処理された。これは、MoEが入力空間の異なる領域にエキスパートを特化させる能力を示した。
もう1つの基礎的な研究は、適応的局所エキスパート混合であり、各エキスパートが単純なガウス分布を予測するガウス混合モデルを使用した。ゲーティング関数は、入力に基づいて重みを割り当てる線形ソフトマックス関数であった。これらの初期モデルは、MoEの核心コンポーネント、すなわち一連のエキスパート、ゲーティング関数、および勾配降下に基づくトレーニング手順を確立した。
スパースゲーティングと現代のルーティング
大規模ニューラルネットワークで使用される現代のMoEルーティングは、スパースゲーティングを採用している。すべてのエキスパートの加重和を計算する代わりに、ルーターは各トークンに対して上位k個のエキスパート（多くの場合k=1またはk=2）のみを選択する。このスパース性は効率性にとって重要であり、すべてのエキスパートが活性化されると、計算コストはエキスパート数に比例して増加し、目的が損なわれる。スパースルーティングにより、モデルは数百または数千のエキスパートを持ちながら、トークンあたり少数のみを活性化し、トークンあたりの浮動小数点演算を管理可能に保つことができる。
ルーティング関数は通常、学習された線形層とそれに続くエキスパートセット上のソフトマックスで構成される。トレーニング中、ルーターはトークンの表現に基づいてトークンをエキスパートに割り当てることを学習する。しかし、単純なスパースルーティングは負荷不均衡を引き起こす可能性があり、少数のエキスパートがほとんどのトークンを受け取り、他のエキスパートは十分に活用されない。これに対処するため、現代の実装では、Switch Transformerで導入された負荷分散損失など、バランスの取れたルーティングを促進する補助損失が使用される。
トランスフォーマーとの統合
トランスフォーマーベースのモデルでは、MoEルーティングは最も一般的にフィードフォワードネットワーク（FFN）サブレイヤーに適用される。標準的なトランスフォーマーでは、各トークンは高密度のFFNを通過する。MoEトランスフォーマーでは、FFNは一連のエキスパートFFNに置き換えられ、ルーターが各トークンを処理するエキスパートを決定する。この設計は、2021年にGoogle DeepMindの研究者によって導入されたSwitch Transformerによって普及し、大規模モデルのトレーニングで大幅な高速化を達成した。もう1つの影響力のあるアーキテクチャは、GShardフレームワークのMixture of Experts層であり、効率的な多言語機械翻訳を可能にした。
これらのMoEトランスフォーマーは、OpenAI、Anthropic、および他の組織のものを含む多くの大規模言語モデルで採用されている。例えば、GPT-4やClaudeなどのモデルはMoEアーキテクチャを使用していると報告されているが、正確な詳細はしばしば独自仕様である。ルーティング機構により、これらのモデルは推論コストを合理的に保ちながら、数兆のパラメータにスケーリングできる。
ルーティングアルゴリズムと負荷分散
MoEの効率性と有効性を向上させるために、いくつかのルーティングアルゴリズムが開発されている。最も一般的なのはトップkルーティングであり、ルーターがゲーティングスコアが最も高いk個のエキスパートを選択する。バリエーションには、トレーニング中にゲーティングスコアにノイズを追加して探索を促進するノイズ付きトップkルーティングや、トークンがエキスパートを選択するのではなく、各エキスパートが上位トークンを選択するエキスパート選択ルーティングがある。後者は2022年にGoogleの研究者によって提案され、負荷分散とトレーニング安定性を改善できる。
負荷分散は重要な課題である。明示的なメカニズムがないと、ルーターが常に同じエキスパートを選択するように崩壊し、利用率が低下する可能性がある。Switch Transformerは、トークン割り当ての不均衡をペナルティする補助損失を導入した。他の方法には、微分可能ハッシュや階層的ルーティングがあり、第1レベルのルーターがエキスパートのグループを選択し、第2レベルのルーターがグループ内で選択する。
大規模言語モデルへの応用
MoEルーティングは、大規模言語モデルをスケーリングするための標準的な手法となっている。これにより、モデルは膨大な数のパラメータ（例：1兆）を持ちながら、各トークンに対してその一部のみを使用でき、本番環境でのモデル提供に不可欠である。OpenAI、Anthropic、およびGoogle DeepMindなどの企業は、MoEを主力モデルに統合している。例えば、Mistral AIのMixtralモデルは、8つのエキスパートを持つスパースMoEアーキテクチャを使用し、トークンあたり2つを活性化し、はるかに大きな高密度モデルと競合する性能を達成している。
言語モデルに加えて、MoEルーティングはコンピュータビジョンや音声認識などの他の領域でも使用されている。例えば、V-MoEモデルはビジョントランスフォーマーにMoEを適用し、GShardアーキテクチャはニューラル機械翻訳に使用されている。この手法は、MoEモデルのトレーニングと提供のためのインフラストラクチャを提供するAmazon Web ServicesやGoogle Cloudのサービスにも関連している。
課題と将来の方向性
その利点にもかかわらず、MoEルーティングにはいくつかの課題がある。主要な問題の1つはメモリ消費であり、すべてのエキスパートパラメータは、活性化されるのが少数であってもメモリに格納する必要がある。これには、エキスパート並列処理やオフロードなどの高度なモデル並列処理とメモリ管理が必要である。もう1つの課題はトレーニングの不安定性であり、ルーターとエキスパートがフィードバックループに入り、振動を引き起こす可能性がある。研究者たちは、勾配クリッピングや慎重な初期化など、さまざまな安定化手法を提案している。
将来の方向性には、より効率的なルーティングアルゴリズム、より良い負荷分散、およびエキスパートのメモリフットプリントを削減する方法が含まれる。また、ルーティング決定がモデルの特化方法に関する洞察を提供できるため、MoEをより解釈可能にすることに関する進行中の研究もある。2025年現在、MoEルーティングは活発な研究領域であり、新しいアーキテクチャと手法が定期的に登場している。
結論
Mixture of Expertsルーティングは、入力ごとにエキスパートのサブセットを選択的に活性化することでニューラルネットワークをスケーリングする強力な手法である。アンサンブル学習の初期のルーツからトランスフォーマーへの現代の統合まで、MoEは非常に大きく効率的で能力の高いモデルの開発を可能にした。より大きくより能力の高いAIシステムへの需要が高まるにつれて、MoEルーティングは人工知能の進化において中心的な役割を果たし続けるだろう。