Mixture of experts (MoE) ist eine Technik des maschinellen Lernens, bei der mehrere Expertennetzwerke oder Lernende einen Problemraum in homogene Regionen aufteilen, was eine Form von Ensemble-Lernen darstellt. In solchen Systemen bestimmt ein Routing-Mechanismus - oft als Gating-Funktion oder Gewichtungsfunktion bezeichnet - wie Eingaben den Experten zugewiesen werden und wie ihre Ausgaben kombiniert werden. Mixture of experts Routing bezieht sich somit auf die spezifischen Algorithmen und Designentscheidungen, die diesen Auswahl- und Gewichtungsprozess steuern und die für die Balance zwischen Modellkapazität, Rechenaufwand und Ausgabequalität entscheidend sind. Das Konzept hat sich von frühen statistischen Modellen in den 1990er-Jahren zu den spärlichen Routing-Schemata entwickelt, die in zeitgenössischen großen Sprachmodellen verwendet werden, wo es massive Parameterzahlen bei relativ geringer Berechnung pro Token ermöglicht.
Die Kernarchitektur jedes Mixture-of-Experts-Systems umfasst eine Menge von Expertenfunktionen \(f_1, ..., f_n\), die jeweils dieselbe Eingabe \(x\) erhalten und eine Ausgabe erzeugen, sowie eine Gewichtungsfunktion \(w\), die \(x\) auf einen Vektor nicht-negativer Gewichte \((w(x)_1, ..., w(x)_n)\) abbildet. Die endgültige Ausgabe wird typischerweise als gewichtete Summe berechnet: \(f(x) = \sum_i w(x)_i f_i(x)\). Sowohl die Experten als auch die Gewichtungsfunktion werden gemeinsam trainiert, indem eine Verlustfunktion minimiert wird, normalerweise durch Gradientenabstieg. Der Routing-Mechanismus bestimmt, wie diese Gewichte berechnet werden, ob sie dicht sind (alle Experten tragen bei) oder spärlich (nur wenige Experten werden aktiviert), und wie das System Lastverteilung und Trainingsstabilität handhabt.
Frühe Routing-Designs
Eine der frühesten Routing-Formulierungen war das Meta-Pi-Netzwerk, das von Hampshire und Waibel in den frühen 1990er-Jahren berichtet wurde. In diesem Design ist die Ausgabe die gewichtete Summe der Expertenausgaben, und das Training erfolgt durch Gradientenabstieg auf dem mittleren quadratischen Fehler. Die Experten konnten beliebige Funktionen sein, und das Gating-Netzwerk lernte, Gewichte basierend auf der Eingabe zuzuweisen. In ihrer ursprünglichen Veröffentlichung wandten die Forscher dies auf die Klassifizierung von Phonemen in Sprachsignalen von sechs japanischen Sprechern an (zwei weiblich, vier männlich). Sie trainierten sechs Experten, jeweils ein zeitverzögertes neuronales Netzwerk, das auf Mel-Spektrogrammen arbeitete. Bemerkenswerterweise widmete das gelernte Routing fünf Experten fünf einzelnen Sprechern, während die Stimme des sechsten männlichen Sprechers durch eine lineare Kombination der Experten für die anderen drei männlichen Sprecher klassifiziert wurde, was zeigt, dass Routing gemeinsame Unterräume entdecken kann und nicht nur Eins-zu-eins-Zuordnungen.
Ein weiterer früher Ansatz waren adaptive Mischungen lokaler Experten, die ein Gaußsches Mischmodell für die Gating-Funktion verwendeten. Hier sagte jeder Experte eine Gaußsche Verteilung über die Ausgabe voraus, wobei er die Eingabe oft vollständig ignorierte und einfach einen Mittelwertvektor lernte. Die Gewichtungsfunktion war eine lineare Softmax-Funktion, bei der das Gewicht für Experten \(i\) als \(w(x)_i = \exp(k_i^T x + b_i) / \sum_j \exp(k_j^T x + b_j)\) berechnet wurde. Dieses Softmax-Routing erzeugte eine normalisierte Wahrscheinlichkeitsverteilung über die Experten, und die Gesamtmodellausgabe war eine Mischung Gaußscher Vorhersagen. Diese Formulierung ermöglichte eine probabilistische Interpretation und wurde durch Maximum-Likelihood trainiert, was eine Grundlage für spätere probabilistische Routing-Methoden legte.
Spärliches Routing und die Transformer-Ära
Modernes Mixture-of-Experts-Routing gewann mit dem Aufstieg der Transformer (architecture)-Architektur im Deep learning an Bedeutung. In groß angelegten Modellen wird dichtes Routing - bei dem jeder Experte jede Eingabe verarbeitet - rechenintensiv, wenn die Anzahl der Experten wächst. Spärliches Routing, eingeführt im Paper "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer" von 2017 durch Forscher wie Noam Shazeer und Kollegen bei Google DeepMind, adressierte dies, indem nur eine kleine Teilmenge von Experten pro Eingabe-Token aktiviert wird. Die Gating-Funktion berechnet einen Softmax über die Experten-Scores, wendet dann aber eine Top-k-Auswahl an, wobei nur die höchstbewerteten Experten (typischerweise k = 1 oder 2) behalten und der Rest auf null gesetzt wird. Dies ermöglicht es dem Modell, Milliarden von Parametern zu haben, während nur ein Bruchteil davon für jeden Vorwärtspass berechnet wird.
Die spärliche Gating-Funktion verwendet typischerweise eine trainierbare Gewichtsmatrix, die die Token-Repräsentation der Eingabe auf einen Vektor von Logits abbildet, einen pro Experten. Diese Logits werden durch einen Softmax geleitet, um Wahrscheinlichkeiten zu erzeugen, und die Top-k-Experten werden ausgewählt. Die Ausgaben der ausgewählten Experten werden mit ihren normalisierten Wahrscheinlichkeiten gewichtet und summiert. Dieser Routing-Mechanismus ist differenzierbar in Bezug auf die Gating-Parameter, was ein End-to-End-Training durch Backpropagation ermöglicht. Spärliches Routing führt jedoch zu Herausforderungen wie Lastungleichgewicht, bei dem wenige Experten dominieren und andere wenig Trainingssignal erhalten, was zur Entwicklung von Hilfsverlusten für die Lastverteilung führte.
Lastverteilung und Hilfsverluste
Ein anhaltendes Problem beim Mixture-of-Experts-Routing ist der Expertenkollaps, bei dem das Gating-Netzwerk lernt, die meisten Eingaben an eine kleine Menge von Experten zu leiten und andere ungenutzt zu lassen. Um dem entgegenzuwirken, fügen moderne Implementierungen Hilfsverluste hinzu, die ein gleichmäßiges Routing fördern. Ein gängiger Ansatz, der in Modellen wie dem Switch Transformer (eingeführt von Google DeepMind im Jahr 2021) verwendet wird, fügt einen Lastverteilungsverlust hinzu, der die Gating-Funktion bestraft, wenn die Verteilung der den Experten zugewiesenen Token von der Gleichverteilung abweicht. Dieser Verlust wird typischerweise als das skalierte Skalarprodukt zwischen der durchschnittlichen Routing-Wahrscheinlichkeit und dem Anteil der an jeden Experten gerouteten Token berechnet und mit einem kleinen Koeffizienten zum Haupttrainingsverlust addiert. Eine weitere Technik ist die Verwendung von Expertenkapazitätsgrenzen, bei denen jeder Experte nur eine feste Anzahl von Token pro Stapel verarbeiten kann; Token, die diese Kapazität überschreiten, werden verworfen oder an eine Residualverbindung geroutet, wodurch verhindert wird, dass ein einzelner Experte zum Engpass wird.
Neuere Methoden, wie die DeepSeekMoE-Architektur, verfeinern die Lastverteilung durch feinkörnige Expertensegmentierung und gemeinsame Experten. In diesem Design werden Experten in kleinere Einheiten aufgeteilt, und eine kleine Anzahl gemeinsamer Experten wird immer aktiviert, während die verbleibenden gerouteten Experten über eine Gating-Funktion ausgewählt werden. Dies reduziert die Redundanz in der Experten-Spezialisierung und verbessert die Parametereffizienz. Das Routing in solchen Modellen verwendet oft ein Sigmoid-basiertes Gating anstelle von Softmax, wodurch mehrere Experten unabhängig aktiviert werden können, und verwendet einen Bias-Term, der während des Trainings angepasst wird, um die Last ohne Beeinträchtigung des Hauptverlustgradienten auszugleichen.
Routing in großen Sprachmodellen
Mixture-of-Experts-Routing ist zu einem Eckpfeiler der Skalierung von Large language models geworden. Modelle wie Mixtral 8x7B, entwickelt von Mistral AI, verwenden eine spärliche MoE-Schicht, bei der jedes Token an zwei von acht Experten geroutet wird, wobei jeder Experte ein Feed-Forward-Netzwerk ist. Dies ermöglicht es dem Modell, 47 Milliarden Gesamtparameter zu haben, aber nur etwa 13 Milliarden pro Token zu verwenden, was den Inferenzaufwand eines viel kleineren dichten Modells entspricht. Ähnlich demonstrierte der Switch Transformer, dass die Skalierung auf Billionen von Parametern mit spärlichem Routing machbar ist, mit Geschwindigkeitsverbesserungen gegenüber dichten Basislinien bei Aufgaben der natürlichen Sprache. In diesen Modellen wird die Routing-Entscheidung pro Token getroffen, nicht pro Sequenz, was es dem Modell ermöglicht, verschiedene Experten verschiedenen Teilen der Eingabe zuzuweisen.
Der Routing-Mechanismus in großen Sprachmodellen operiert oft auf den verborgenen Zuständen, die von Multi-Head Attention-Schichten erzeugt werden. Die Gating-Funktion ist eine lineare Projektion, gefolgt von einem Softmax oder Sigmoid, und wird gemeinsam mit dem Rest des Netzwerks trainiert. Eine wichtige Designentscheidung ist, ob ein verrauschtes Top-k-Gating verwendet wird, bei dem trainierbares Gaußsches Rauschen zu den Logits vor der Auswahl hinzugefügt wird, was Exploration während des Trainings fördert und verhindert, dass das Gating zu früh zu deterministisch wird. Eine weitere Wahl ist die Verwendung von Expertenparallelität, bei der Experten über mehrere Geräte verteilt werden und das Routing koordiniert werden muss, um Kommunikationsaufwand zu minimieren. Dies hat zu spezialisierten Implementierungen in Frameworks wie Amazon Web Services SageMaker und Google Cloud TPU-Umgebungen geführt.
Herausforderungen und neuere Fortschritte
Trotz seiner Effektivität steht das Mixture-of-Experts-Routing vor mehreren offenen Herausforderungen. Eine ist der Kompromiss zwischen Routing-Granularität und Recheneffizienz: zu viele Experten können zu Speicheraufwand und Kommunikationskosten führen, während zu wenige die Kapazität begrenzen. Eine andere ist die Instabilität des Trainings, da die diskrete Top-k-Auswahl Gradientenprobleme verursachen kann, obwohl Straight-Through-Schätzer und Softmax-Relaxationen untersucht wurden. Neuere Arbeiten haben auch gelernte Routing-Politiken untersucht, die sich im Laufe der Zeit anpassen, wie die Verwendung von Reinforcement Learning zur Optimierung von Routing-Entscheidungen, obwohl diese in Produktionssystemen weniger verbreitet sind.
Ein weiteres aktives Forschungsgebiet ist die Interpretierbarkeit des Routings. Studien haben gezeigt, dass Experten in großen Modellen oft in semantische oder syntaktische Kategorien spezialisiert sind, wie Interpunktion, mathematisches Denken oder Code, aber die Zuordnung ist nicht immer sauber. Techniken wie die Routing-Analyse, bei der die Verteilung der Token pro Experten visualisiert wird, wurden verwendet, um diese Muster zu verstehen. Zusätzlich verwenden einige Modelle ein hierarchisches Routing-Schema, bei dem ein Router der ersten Ebene eine Gruppe von Experten auswählt und ein Router der zweiten Ebene innerhalb der Gruppe auswählt, wodurch die Anzahl der benötigten Vergleiche reduziert wird. Dies ist besonders nützlich, wenn die Anzahl der Experten sehr groß ist, wie im Fall von Modellen mit Tausenden von Experten.
Vergleich mit dichten Modellen
Mixture-of-Experts-Routing bietet eine grundlegende Alternative zu dichten Modellen, bei denen jeder Parameter für jede Eingabe verwendet wird. Dichte Modelle, wie die ursprünglichen Transformer (architecture)-Architekturen, haben feste Rechenkosten pro Token, während MoE-Modelle variable Kosten haben, die von Routing-Entscheidungen abhängen. Dies ermöglicht es MoE-Modellen, eine höhere Kapazität zu erreichen, ohne einen proportionalen Anstieg der Inferenzkosten, was sie attraktiv für die Bereitstellung in ressourcenbeschränkten Umgebungen macht. Dichte Modelle sind jedoch oft einfacher zu trainieren und feinabzustimmen, da sie keine Lastverteilungsverluste oder sorgfältige Kapazitätsabstimmung erfordern. Die Wahl zwischen dichten und MoE-Architekturen hängt von der spezifischen Anwendung ab, wobei MoE besonders für groß angelegtes Training geeignet ist, bei dem das Ziel darin besteht, die Qualität bei einem festen Rechenbudget zu maximieren.
In der Praxis haben viele Organisationen, darunter OpenAI, Anthropic und Google DeepMind, MoE-Schichten in ihren Produktionsmodellen übernommen, obwohl sie die genauen Routing-Details oft nicht offenlegen. Die Technik wurde auch über Sprache hinaus angewendet, einschließlich Computer Vision und Spracherkennung, wo sie ähnliche Vorteile gezeigt hat. Da sich die Hardware weiterentwickelt, mit spezialisierten Beschleunigern wie AWS Trainium und Groq, die für spärliche Berechnung optimiert sind, wird die Effizienz des MoE-Routings wahrscheinlich weiter verbessert, was es zu einem Standardbestandteil zukünftiger Artificial intelligence-Systeme macht.
Zukünftige Richtungen
Die Zukunft des Mixture-of-Experts-Routings liegt darin, es adaptiver und effizienter zu machen. Eine Richtung ist die Entwicklung vollständig differenzierbaren Routings, bei dem die diskrete Top-k-Auswahl durch eine kontinuierliche Approximation ersetzt wird, was glattere Gradienten und potenziell bessere Optimierung ermöglicht. Eine andere ist die Verwendung gelernter Routing-Politiken, die die Anzahl der aktiven Experten dynamisch basierend auf der Eingabekomplexität anpassen können, wodurch die Berechnung für einfache Eingaben reduziert und für komplexe erhöht wird. Zusätzlich könnte Forschung zur Expertenzusammenführung und -bereinigung, bei der redundante Experten nach dem Training kombiniert oder entfernt werden, den Speicherbedarf reduzieren, ohne die Qualität zu opfern. Da Modelle weiter skaliert werden, wird der Routing-Mechanismus eine zunehmend zentrale Rolle bei der Bestimmung ihrer Leistung und Praktikabilität spielen, was ihn zu einem reichen Gebiet für sowohl theoretische als auch angewandte Forschung macht.