Sparse-MoE-Routing ist ein Mechanismus in Mixture of experts-neuronalen Netzen, der bestimmt, welche Experten-Subnetzwerke jedes Eingabe-Token verarbeiten. In einer spärlichen Mixture-of-Experts-Schicht bewertet eine Router- oder Gating-Funktion die Eingabe und wählt nur eine kleine Anzahl von Experten, typischerweise ein oder zwei, aus einem größeren Pool aus. Dies steht im Gegensatz zur dichten Mixture-of-Experts, bei der alle Experten zu jeder Ausgabe beitragen. Die Routing-Entscheidung wird pro Token getroffen, sodass verschiedene Teile einer Eingabesequenz von verschiedenen Experten verarbeitet werden können. Dieses Design erhöht die Gesamtzahl der Parameter eines Modells, während die Rechenkosten pro Token ungefähr konstant bleiben, da nur die ausgewählten Experten während der Vorwärts- und Rückwärtsdurchläufe aktiviert werden.
Das Konzept entstand aus früheren Arbeiten zur Mixture-of-Experts in den 1990er Jahren, aber spärliches Routing wurde in den 2010er und 2020er Jahren praktisch bedeutsam, um große Sprachmodelle über die Grenzen dichter Transformer (architecture)-Architekturen hinaus zu skalieren. Durch das Routing von Token zu spezialisierten Experten können Modelle vielfältige Muster in Daten erfassen, ohne dass alle Parameter für jede Eingabe aktiv sein müssen. Sparse-MoE-Routing ist heute ein Kernbestandteil mehrerer prominenter Produktionsmodelle, einschließlich derer, die von Google DeepMind, OpenAI und anderen Forschungsorganisationen entwickelt wurden.
Historische Ursprünge
Die grundlegende Idee der Mixture-of-Experts geht auf die frühen 1990er Jahre zurück. Forscher wie Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan und Geoffrey E. Hinton führten 1991 die Architektur der adaptiven Mischungen lokaler Experten ein, bei der ein Gating-Netzwerk die Ausgaben mehrerer Expertennetzwerke gewichtete. Etwa zur gleichen Zeit wandte das Meta-Pi-Netzwerk von John Hampshire und Alex Waibel ein ähnliches Gewichtungsschema auf die Klassifikation von Sprachphonemen an, indem es sechs zeitverzögerte neuronale Netze mit Daten von sechs japanischen Sprechern trainierte. Diese frühen Systeme verwendeten dichte Gewichtung, was bedeutet, dass alle Experten zu jeder Ausgabe beitrugen, aber sie etablierten die Kernkomponenten: Expertenfunktionen, eine Gating-Funktion und eine gewichtete Kombination.
Spärliches Routing, bei dem nur eine Teilmenge von Experten aktiviert wird, wurde in den späten 1990er und frühen 2000er Jahren erforscht, gewann aber mit dem Aufstieg des Deep Learnings an Bedeutung. 2017 veröffentlichten Forscher bei Google DeepMind die spärlich gegatede Mixture-of-Experts-Schicht, die ein trainierbares Gating-Netzwerk einführte, das die Top-k-Experten für jede Eingabe auswählte. Diese Arbeit zeigte, dass spärliche Aktivierung die Modellkapazität dramatisch erhöhen konnte, ohne einen proportionalen Anstieg der Berechnung, und ebnete den Weg für spätere groß angelegte Anwendungen.
Routing-Mechanismus
In einer spärlichen MoE-Schicht besteht der Routing-Mechanismus aus einer Gating-Funktion, typischerweise einer linearen Schicht gefolgt von einem Softmax über die Experten-Dimension. Für eine Eingabe-Token-Repräsentation \(x\) berechnet der Router einen Score für jeden der \(n\) Experten, oft als \(w(x)_i = \text{softmax}(W_g x)_i\), wobei \(W_g\) eine lernbare Gewichtsmatrix ist. Der Router wählt dann die Top-k-Experten mit den höchsten Scores aus, wobei k ein Hyperparameter ist, der normalerweise auf 1 oder 2 gesetzt wird. Die Ausgabe der Schicht ist eine gewichtete Summe der Ausgaben der ausgewählten Experten, wobei die Gewichte unter den ausgewählten Experten normalisiert werden.
Diese Pro-Token-Auswahl ermöglicht es dem Modell, sich zu spezialisieren: Verschiedene Experten können lernen, verschiedene Arten von Eingaben zu verarbeiten, wie verschiedene Sprachen, Domänen oder syntaktische Muster. Die Routing-Entscheidung ist während der Inferenz deterministisch, aber während des Trainings muss der Router gemeinsam mit den Experten trainiert werden. Da die Top-k-Auswahl nicht differenzierbar ist, verwenden Forscher Techniken wie den Straight-Through-Estimator oder das verrauschte Top-k-Gating, das während des Trainings lernbares Rauschen zu den Logits hinzufügt, um Exploration und Lastenausgleich zu fördern.
Lastenausgleich und Hilfsverluste
Eine große Herausforderung beim spärlichen MoE-Routing besteht darin, sicherzustellen, dass Experten ungefähr gleichmäßig genutzt werden. Ohne Intervention kann der Router in einen Zustand konvergieren, in dem wenige Experten die meisten Token erhalten, während andere untergenutzt bleiben, was die effektive Kapazität verringert. Um dies zu adressieren, integrieren Modelle Hilfsverluste für den Lastenausgleich, die eine unausgewogene Token-Verteilung über Experten bestrafen. Ein häufiger Ansatz, der im Switch Transformer (2021) von google-Forschern eingeführt wurde, fügt einen Verlustterm hinzu, der proportional zum Anteil der Token ist, die zu jedem Experten geroutet werden, multipliziert mit der durchschnittlichen Router-Wahrscheinlichkeit für diesen Experten. Dies ermutigt den Router, Token gleichmäßiger zu verteilen.
Eine andere Technik ist die Expertenkapazität, die die Anzahl der Token begrenzt, die jeder Experte in einem gegebenen Batch verarbeiten kann. Wenn ein Experte seine Kapazität erreicht, werden überschüssige Token entweder verworfen oder zu einer Residualverbindung geroutet. Dies verhindert, dass ein einzelner Experte zu einem Engpass wird, und gewährleistet eine vorhersehbare Berechnung. Neuere Methoden, wie das hilfsverlustfreie Routing in DeepSeek-V3 (2024), verwenden dynamische Bias-Anpassungen, um die Last ohne explizite Hilfsverluste auszugleichen.
Skalierung und Effizienz
Sparse-MoE-Routing ermöglicht die Skalierung von Modellparametern weit über das hinaus, was dichte Modelle erlauben. Zum Beispiel führte der Switch Transformer Modelle mit bis zu 1,6 Billionen Parametern ein, doch jedes Token aktivierte nur einen kleinen Bruchteil davon. Ähnlich verwendet Mixtral 8x7B, das 2023 von Mistral AI veröffentlicht wurde, acht Experten pro Schicht mit zwei aktiven pro Token und erreicht eine Leistung, die mit größeren dichten Modellen vergleichbar ist, während es weniger Berechnung pro Token verwendet. Googles GShard (2020) wandte spärliches MoE auf maschinelle Übersetzung an, und spätere Modelle wie GLaM (2021) und PaLM (2022) integrierten MoE-Schichten für Effizienz.
Die Effizienzgewinne resultieren aus der Tatsache, dass die Rechenkosten pro Token mit der Anzahl der aktiven Experten skalieren, nicht mit der Gesamtzahl der Parameter. Dies ermöglicht es Modellen, mehr Parameter zu haben, was die Genauigkeit verbessern kann, während die Inferenz- und Trainingskosten überschaubar bleiben. Allerdings erfordern spärliche MoE-Modelle mehr Speicher, um alle Expertenparameter zu speichern, und sie führen Kommunikationsaufwand im verteilten Training ein, da Token zu Experten geroutet werden müssen, die sich auf verschiedenen Geräten befinden können.
Anwendungen in großen Sprachmodellen
Sparse-MoE-Routing ist zu einer Standardtechnik in großen Sprachmodellen geworden. Viele Open-Weight- und proprietäre Modelle verwenden MoE-Schichten, um Qualität und Kosten auszugleichen. Zum Beispiel verwenden Mixtral 8x7B und Mixtral 8x22B von Mistral AI, Qwen1.5-MoE von Alibaba und DeepSeek-V2 und V3 von DeepSeek alle spärliches Routing. Im proprietären Bereich wird weithin berichtet, dass OpenAIs GPT-4 eine Mixture-of-Experts-Architektur verwendet, obwohl das Unternehmen keine Details bestätigt hat. Anthropics Claude-Modelle und Googles Gemini-Modelle integrieren wahrscheinlich ebenfalls MoE-Schichten, basierend auf öffentlichen Aussagen und Patenten.
Diese Modelle verwenden Routing, um Experten über Domänen, Sprachen oder Denkaufgaben zu spezialisieren. Zum Beispiel könnten einige Experten mathematisches Denken übernehmen, während andere sich auf Codegenerierung oder mehrsprachigen Text konzentrieren. Der Router lernt, Token basierend auf dem Eingabekontext zu geeigneten Experten zu leiten, was die Gesamtleistung verbessert, ohne dass alle Experten jedes Token verarbeiten müssen.
Trainingsherausforderungen
Das Training spärlicher MoE-Modelle stellt einzigartige Herausforderungen über den Lastenausgleich hinaus dar. Der Router kann unter Instabilität leiden, bei der kleine Änderungen an Parametern zu großen Verschiebungen in Routing-Entscheidungen führen, was Trainingsdivergenz verursacht. Techniken wie verrauschtes Top-k-Gating und Dropout auf dem Router helfen, das Training zu stabilisieren. Zusätzlich können sich Experten zu früh spezialisieren, was zu einer Form von Mode-Kollaps führt, bei der das Modell nicht generalisiert. Forscher haben Methoden wie Experten-Dropout und Routing-Regularisierung vorgeschlagen, um dies zu mildern.
Eine weitere Herausforderung ist der Kommunikationsaufwand im verteilten Training. In einem typischen Setup wird jeder Experte auf einem anderen Gerät platziert, und Token müssen von ihrem ursprünglichen Gerät zum Gerät des ausgewählten Experten gesendet werden. Diese All-to-All-Kommunikation kann zu einem Engpass werden, insbesondere bei großen Batch-Größen. Effiziente Implementierungen, wie die in den Megatron- und DeepSpeed-Bibliotheken, verwenden optimierte Kommunikationspläne, um diesen Aufwand zu reduzieren.
Neuere Entwicklungen
Die jüngste Forschung konzentriert sich auf die Verbesserung der Routing-Qualität und die Reduzierung der Kosten von MoE-Modellen. Der Mixture-of-Depths-Ansatz (2024) erweitert die Idee der Spärlichkeit auf die Tiefendimension, indem Token nicht nur zu verschiedenen Experten geroutet werden, sondern auch Schichten vollständig übersprungen werden. Eine andere Richtung ist die feinkörnige Expertensegmentierung, bei der Experten kleiner und zahlreicher sind, was eine feinere Spezialisierung ermöglicht. DeepSeek-V3 zum Beispiel verwendet 256 Experten pro Schicht mit nur 8 aktiven und erreicht modernste Leistung bei reduzierten Trainingskosten.
Hardware- und Software-Co-Design hat ebenfalls Fortschritte gemacht. Unternehmen wie NVIDIA und AMD haben ihre Beschleuniger für MoE-Inferenz optimiert, und Frameworks wie vLLM und TensorRT-LLM unterstützen effizientes MoE-Serving. Das wachsende Interesse an Edge-Bereitstellung hat zu Forschung über die Kompression von MoE-Modellen geführt, wie Experten-Pruning und Quantisierung, um sie auf Geräten mit begrenztem Speicher unterzubringen.
Zukünftige Richtungen
Sparse-MoE-Routing bleibt ein aktives Forschungsgebiet. Offene Fragen umfassen, wie die optimale Anzahl von Experten und die Routing-Granularität automatisch bestimmt werden können, wie Routing interpretierbarer gemacht werden kann und wie MoE mit anderen Effizienztechniken wie Model Pruning und Quantisierung kombiniert werden kann. Da Modelle weiter skalieren, wird spärliches Routing wahrscheinlich eine zentrale Rolle bei der Balance zwischen Fähigkeit und Rechenkosten spielen, was leistungsfähigere KI-Systeme ohne prohibitive Ressourcenanforderungen ermöglicht.