Le routage Mixture of Experts (MoE) est une technique en Machine learning où un réseau de neurones contient plusieurs sous-réseaux spécialisés, appelés experts, et un mécanisme de gating qui sélectionne les experts à activer pour chaque entrée. Dans le contexte du Deep learning moderne, le routage est souvent épars : pour chaque jeton ou entrée, seule une petite sous-partie des experts est utilisée, ce qui permet au modèle d'avoir un nombre total de paramètres très élevé tout en maintenant un coût de calcul par inférence inférieur à celui d'un modèle dense de taille similaire. Cette approche est devenue une pierre angulaire de la mise à l'échelle des grands modèles de langage et d'autres systèmes de IA générative.
Le concept provient de l'apprentissage par ensemble classique, où plusieurs apprenants divisent un espace de problèmes en régions homogènes. Les travaux précoces des années 1990, tels que le réseau meta-pi et les mélanges adaptatifs d'experts locaux, ont posé les fondements théoriques. Dans les implémentations modernes, le routage MoE est généralement intégré dans les architectures Transformer (architecture), où les couches feed-forward sont remplacées par un ensemble de réseaux experts et un routeur qui envoie les jetons aux experts les plus pertinents. Cette conception permet à des modèles comme ceux développés par Google DeepMind et d'autres laboratoires d'atteindre des performances de pointe avec un entraînement et une inférence efficaces.
Origines historiques
Les racines du routage MoE remontent au début des années 1990, lorsque les chercheurs ont exploré les machines à comité et les méthodes d'ensemble. Un système précoce notable était le réseau meta-pi, rapporté par Hampshire et Waibel, qui combinait les sorties de plusieurs réseaux neuronaux à délais temporels à l'aide d'une fonction de pondération. Dans leurs expériences de classification de phonèmes provenant de six locuteurs japonais, ils ont entraîné six experts et ont constaté que la fonction de gating apprenait à dédier un expert par locuteur, sauf pour un locuteur masculin dont la voix était traitée par une combinaison linéaire d'autres experts masculins. Cela a démontré la capacité du MoE à spécialiser les experts sur différentes régions de l'espace d'entrée.
Un autre travail fondateur était les mélanges adaptatifs d'experts locaux, qui utilisaient un modèle de mélange gaussien où chaque expert prédisait une distribution gaussienne simple. La fonction de gating était une fonction linéaire-softmax qui attribuait des poids en fonction de l'entrée. Ces premiers modèles ont établi les composants essentiels du MoE : un ensemble d'experts, une fonction de gating et une procédure d'entraînement basée sur la descente de gradient.
Gating épars et routage moderne
Le routage MoE moderne, tel qu'utilisé dans les réseaux neuronaux à grande échelle, emploie un gating épars. Au lieu de calculer une somme pondérée de tous les experts, le routeur ne sélectionne que les top-k experts (souvent k=1 ou k=2) pour chaque jeton. Cette parcimonie est cruciale pour l'efficacité : si tous les experts étaient activés, le coût de calcul augmenterait linéairement avec le nombre d'experts, ce qui irait à l'encontre du but recherché. Le routage épars permet aux modèles d'avoir des centaines ou des milliers d'experts tout en n'activant que quelques-uns par jeton, maintenant ainsi les opérations en virgule flottante par jeton à un niveau gérable.
La fonction de routage est généralement une couche linéaire apprise suivie d'un softmax sur l'ensemble des experts. Pendant l'entraînement, le routeur apprend à assigner les jetons aux experts en fonction de la représentation du jeton. Cependant, un routage épars naïf peut entraîner un déséquilibre de charge, où quelques experts reçoivent la plupart des jetons tandis que d'autres restent sous-utilisés. Pour remédier à cela, les implémentations modernes utilisent des pertes auxiliaires qui encouragent un routage équilibré, comme la perte d'équilibrage de charge introduite dans le Switch Transformer.
Intégration avec les transformers
Dans les modèles basés sur Transformer (architecture), le routage MoE est le plus souvent appliqué à la sous-couche de réseau feed-forward (FFN). Dans un transformer standard, chaque jeton passe à travers un FFN dense. Dans un transformer MoE, le FFN est remplacé par un ensemble de FFN experts, et un routeur décide quels experts traitent chaque jeton. Cette conception a été popularisée par le Switch Transformer, introduit par des chercheurs de Google DeepMind en 2021, qui a réalisé des accélérations significatives dans l'entraînement de grands modèles. Une autre architecture influente est la couche Mixture of Experts dans le cadre GShard, qui a permis une traduction automatique multilingue efficace.
Ces transformers MoE ont été adoptés dans de nombreux grands modèles de langage, y compris ceux de OpenAI, Anthropic et d'autres organisations. Par exemple, des modèles comme GPT-4 et Claude sont rapportés comme utilisant des architectures MoE, bien que les détails exacts soient souvent propriétaires. Le mécanisme de routage permet à ces modèles de passer à des milliards de paramètres tout en maintenant des coûts d'inférence raisonnables.
Algorithmes de routage et équilibrage de charge
Plusieurs algorithmes de routage ont été développés pour améliorer l'efficacité et l'efficacité du MoE. Le plus courant est le routage top-k, où le routeur sélectionne les k experts ayant les scores de gating les plus élevés. Des variantes incluent le routage top-k bruité, qui ajoute du bruit aux scores de gating pendant l'entraînement pour encourager l'exploration, et le routage par choix d'expert, où chaque expert sélectionne les meilleurs jetons plutôt que les jetons sélectionnant les experts. Cette dernière approche, proposée par des chercheurs de Google en 2022, peut améliorer l'équilibrage de charge et la stabilité de l'entraînement.
L'équilibrage de charge est un défi critique. Sans mécanismes explicites, le routeur peut s'effondrer en sélectionnant toujours le même expert, entraînant une mauvaise utilisation. Le Switch Transformer a introduit une perte auxiliaire qui pénalise le déséquilibre dans l'assignation des jetons. D'autres méthodes incluent le hachage différentiable et le routage hiérarchique, où un routeur de premier niveau sélectionne un groupe d'experts et un routeur de second niveau sélectionne au sein du groupe.
Applications dans les grands modèles de langage
Le routage MoE est devenu une technique standard pour la mise à l'échelle des grands modèles de langage. Il permet aux modèles d'avoir un nombre massif de paramètres (par exemple, 1 billion) tout en n'utilisant qu'une fraction d'entre eux pour chaque jeton, ce qui est essentiel pour servir les modèles en environnement de production. Des entreprises comme OpenAI, Anthropic et Google DeepMind ont intégré le MoE dans leurs modèles phares. Par exemple, le modèle Mixtral de Mistral AI utilise une architecture MoE éparse avec 8 experts, activant 2 par jeton, et atteint des performances compétitives avec des modèles denses beaucoup plus grands.
En plus des modèles de langage, le routage MoE est utilisé dans d'autres domaines tels que la vision par ordinateur et la reconnaissance vocale. Par exemple, le modèle V-MoE applique le MoE aux transformers de vision, et l'architecture GShard a été utilisée pour la traduction automatique neuronale. La technique est également pertinente pour les offres d'Amazon Web Services et de Google Cloud, qui fournissent une infrastructure pour l'entraînement et le service de modèles MoE.
Défis et orientations futures
Malgré ses avantages, le routage MoE présente plusieurs défis. Un problème majeur est la consommation de mémoire : tous les paramètres des experts doivent être stockés en mémoire, même si seuls quelques-uns sont activés. Cela nécessite un parallélisme de modèle sophistiqué et une gestion de la mémoire, utilisant souvent des techniques comme le parallélisme d'experts et le déchargement. Un autre défi est l'instabilité de l'entraînement, car le routeur et les experts peuvent entrer dans des boucles de rétroaction provoquant des oscillations. Les chercheurs ont proposé diverses techniques de stabilisation, telles que le clipping de gradient et une initialisation soignée.
Les orientations futures incluent des algorithmes de routage plus efficaces, un meilleur équilibrage de charge et des méthodes pour réduire l'empreinte mémoire des experts. Il y a également des recherches en cours pour rendre le MoE plus interprétable, car les décisions de routage peuvent fournir des informations sur la manière dont les modèles se spécialisent. En 2025, le routage MoE reste un domaine de recherche actif, avec de nouvelles architectures et techniques émergeant régulièrement.
Conclusion
Le routage Mixture of Experts est une technique puissante pour mettre à l'échelle les réseaux neuronaux en activant sélectivement des sous-ensembles d'experts par entrée. De ses racines précoces dans l'apprentissage par ensemble à son intégration moderne dans les transformers, le MoE a permis le développement de modèles extrêmement grands qui sont à la fois efficaces et capables. Alors que la demande pour des systèmes d'IA plus grands et plus performants augmente, le routage MoE continuera probablement à jouer un rôle central dans l'évolution de l'Artificial intelligence.