Mixture of experts, couramment abrégé MoE, est une architecture de réseau de neurones dans laquelle un modèle contient de nombreux sous-réseaux spécialisés, appelés experts, mais seule une petite partie d'entre eux est activée pour une entrée donnée. Un mécanisme de routage, généralement un petit réseau appris en soi, examine chaque entrée, comme un jeton dans une couche transformeur, et décide quels experts doivent la traiter. Ce schéma d'activation éparse permet au nombre total de paramètres d'un modèle de devenir très grand, tandis que la quantité de calcul requise pour traiter chaque jeton reste beaucoup plus faible, car la plupart des paramètres du modèle restent inactifs pour une entrée particulière.
L'idée centrale remonte aux premiers travaux sur les mélanges adaptatifs d'experts locaux au début des années 1990, bien avant l'ère de l'apprentissage profond, mais elle a été relancée et considérablement étendue avec l'essor des grands modèles basés sur transformeur. Des chercheurs de Google ont démontré des couches de mélange d'experts à portes éparses intégrées dans de grands modèles de langage à la fin des années 2010, et cette approche a été largement adoptée comme moyen de faire évoluer la capacité des grands modèles de langage au début des années 2020. Les modèles Mixtral de Mistral AI, publiés en décembre 2023, ont été parmi les démonstrations ouvertes les plus marquantes de cette approche en dehors des plus grands laboratoires, et les architectures MoE étaient également largement considérées, bien que pas toujours officiellement confirmées, comme sous-jacentes à certains des plus grands modèles frontières des principaux laboratoires, y compris des aspects rapportés de la conception de GPT-4.
Comment cela fonctionne
Dans un transformeur MoE typique, la couche feed-forward dense standard trouvée dans chaque bloc de transformeur est remplacée par un ensemble de sous-réseaux experts parallèles, souvent au nombre de huit à plusieurs centaines, ainsi qu'un réseau de routage ou de porte. Pour chaque jeton traversant la couche, le routeur calcule un score pour chaque expert et sélectionne uniquement les quelques meilleurs, généralement un ou deux, pour traiter réellement ce jeton ; les sorties des experts sélectionnés sont ensuite combinées, souvent pondérées par la confiance du routeur, pour produire la sortie de la couche. Parce que seule une fraction des experts est utilisée par jeton, le nombre de paramètres actifs, ou « activés », pour une seule passe avant peut être bien inférieur au nombre total de paramètres du modèle, permettant à un modèle avec des centaines de milliards de paramètres totaux de fonctionner à un coût de calcul approximativement équivalent à celui d'un modèle dense beaucoup plus petit pour l'inférence.
Avantages et compromis
Le principal avantage du MoE est de découpler la capacité totale du modèle du coût de calcul par jeton, permettant à un modèle de stocker plus de connaissances et de capacités spécialisées à travers ses nombreux experts sans augmentation proportionnelle du coût d'utilisation. Cela a rendu le MoE attrayant à la fois pour l'efficacité de l'entraînement, car une capacité effective plus grande peut être atteinte sous un budget de calcul fixe, et pour l'efficacité de l'inférence au moment du service. Les compromis sont cependant réels : les modèles MoE nécessitent beaucoup plus de mémoire totale pour contenir tous les experts, même si seulement quelques-uns sont utilisés par jeton, ce qui déplace le fardeau du coût vers la mémoire et le stockage plutôt que vers le calcul brut ; le routage peut être instable ou déséquilibré pendant l'entraînement, certains experts recevant beaucoup plus de trafic que d'autres à moins que des techniques spécifiques d'équilibrage de charge ne soient utilisées ; et les modèles MoE ont historiquement été plus complexes à entraîner et à servir efficacement sur plusieurs accélérateurs que des modèles denses de capacité équivalente.
Adoption
D'ici 2024 et 2025, le mélange d'experts était devenu un choix architectural courant parmi les modèles frontières à poids ouverts et fermés, apparaissant dans des systèmes incluant DeepSeek-R1, plusieurs variantes Qwen, et Grok, généralement comme un moyen d'atteindre de très grands nombres de paramètres totaux, souvent de l'ordre de centaines de milliards, tout en maintenant le calcul actif par jeton dans une plage beaucoup plus modeste et gérable. La technique est fréquemment discutée aux côtés de la quantification et de la Knowledge distillation comme l'un des principaux leviers que les laboratoires utilisent pour gérer le coût de service des très grands modèles de langage à grande échelle.