Mixture of experts, häufig als MoE abgekürzt, ist eine neuronale Netzwerkarchitektur, bei der ein Modell viele spezialisierte Subnetzwerke, sogenannte Experten, enthält, aber nur eine kleine Teilmenge davon für eine bestimmte Eingabe aktiviert wird. Ein Routing-Mechanismus, typischerweise ein kleines eigenes gelerntes Netzwerk, untersucht jede Eingabe, wie etwa ein Token in einer Transformer-Schicht, und entscheidet, welche Experten diese verarbeiten sollen. Dieses Muster spärlicher Aktivierung ermöglicht es, die Gesamtzahl der Parameter in einem Modell sehr groß werden zu lassen, während der Rechenaufwand pro Token deutlich kleiner bleibt, da die meisten Parameter des Modells für eine bestimmte Eingabe inaktiv bleiben.
Die Kernidee geht auf frühe Arbeiten zu adaptiven Mischungen lokaler Experten in den frühen 1990er Jahren zurück, lange vor der Ära des Deep Learning, wurde aber mit dem Aufkommen großer Transformer-basierter Modelle wiederbelebt und erheblich skaliert. Google-Forscher demonstrierten spärlich gegated Mixture-of-Experts-Schichten, die in große Sprachmodelle integriert waren, Ende der 2010er Jahre, und der Ansatz fand breite Anwendung als Möglichkeit, die Kapazität von Large-Language-Modellen in den frühen 2020er Jahren zu skalieren. Die Mixtral-Modelle von Mistral AI, die im Dezember 2023 veröffentlicht wurden, gehörten zu den prominentesten offenen Demonstrationen des Ansatzes außerhalb der größten Labore, und MoE-Architekturen wurden auch weithin angenommen, wenn auch nicht immer offiziell bestätigt, als Grundlage einiger der größten Frontier-Modelle großer Labore, einschließlich berichteter Aspekte des Designs von GPT-4.
Funktionsweise
In einem typischen MoE-Transformer wird die standardmäßige dichte Feed-Forward-Schicht, die in jedem Transformer-Block zu finden ist, durch eine Reihe paralleler Experten-Subnetzwerke ersetzt, die oft von acht bis zu mehreren hundert reichen, zusammen mit einem Gating- oder Router-Netzwerk. Für jedes Token, das die Schicht durchläuft, berechnet der Router eine Punktzahl für jeden Experten und wählt nur die obersten wenigen, üblicherweise ein oder zwei, aus, die das Token tatsächlich verarbeiten; die Ausgaben der ausgewählten Experten werden dann kombiniert, oft gewichtet nach der Konfidenz des Routers, um die Ausgabe der Schicht zu erzeugen. Da nur ein Bruchteil der Experten pro Token verwendet wird, kann die aktive, oder "aktivierte", Parameteranzahl für einen einzelnen Vorwärtsdurchlauf weit kleiner sein als die Gesamtparameteranzahl des Modells, sodass ein Modell mit Hunderten von Milliarden Gesamtparametern ungefähr zu den Rechenkosten eines viel kleineren dichten Modells für Inferenz läuft.
Vorteile und Abwägungen
Der Hauptvorteil von MoE ist die Entkopplung der Gesamtmodellkapazität von den Rechenkosten pro Token, sodass ein Modell mehr Wissen und spezialisierte Fähigkeiten über seine vielen Experten speichern kann, ohne einen proportionalen Anstieg der Nutzungskosten. Dies hat MoE sowohl für die Trainingseffizienz attraktiv gemacht, da eine größere effektive Kapazität unter einem festen Rechenbudget erreicht werden kann, als auch für die Inferenz-Effizienz zur Bereitstellungszeit. Die Abwägungen sind jedoch real: MoE-Modelle benötigen erheblich mehr Gesamtspeicher, um alle Experten zu halten, auch wenn nur wenige pro Token verwendet werden, was die Kostenlast in Richtung Speicher und Speicherung verschiebt, anstatt roher Rechenleistung; das Routing kann während des Trainings instabil oder unausgeglichen sein, wobei einige Experten weit mehr Verkehr erhalten als andere, es sei denn, spezifische Lastausgleichstechniken werden verwendet; und MoE-Modelle waren historisch komplexer zu trainieren und effizient über mehrere Beschleuniger bereitzustellen als vergleichbar fähige dichte Modelle.
Verbreitung
Bis 2024 und 2025 war Mixture of Experts zu einer gängigen Architekturwahl sowohl bei offenen Gewichts- als auch bei geschlossenen Frontier-Modellen geworden, die in Systemen wie DeepSeek-R1, mehreren Qwen-Varianten und Grok auftauchte, im Allgemeinen als Weg, sehr große Gesamtparameterzahlen, oft in Hunderten von Milliarden, zu erreichen, während die aktive Rechenleistung pro Token in einem viel bescheideneren und handhabbareren Bereich bleibt. Die Technik wird häufig zusammen mit Quantisierung und Destillation als einer der Haupthebel diskutiert, den Labore verwenden, um die Kosten der Bereitstellung sehr großer Sprachmodelle in großem Maßstab zu verwalten.