Mezcla de expertos, comúnmente abreviada como MoE, es una arquitectura de redes neuronales en la que un modelo contiene muchos subredes especializadas, llamadas expertos, pero solo un pequeño subconjunto de ellas se activa para cualquier entrada dada. Un mecanismo de enrutamiento, típicamente una pequeña red aprendida propia, examina cada entrada, como un token en una capa de transformador, y decide qué expertos deben procesarla. Este patrón de activación dispersa permite que el número total de parámetros en un modelo crezca muy grande mientras que la cantidad de cómputo requerida para procesar cada token permanece mucho más pequeña, ya que la mayoría de los parámetros del modelo permanecen inactivos para cualquier entrada particular.
La idea central se remonta a los primeros trabajos sobre mezclas adaptativas de expertos locales a principios de la década de 1990, mucho antes de la era del aprendizaje profundo, pero fue revivida y escalada sustancialmente con el auge de los grandes modelos basados en transformadores. Investigadores de Google demostraron capas de mezcla de expertos con compuerta dispersa integradas en grandes modelos de lenguaje a finales de la década de 2010, y el enfoque vio una adopción generalizada como una forma de escalar la capacidad de los grandes modelos de lenguaje a principios de la década de 2020. Los modelos Mixtral de Mistral AI, lanzados en diciembre de 2023, estuvieron entre las demostraciones abiertas más prominentes del enfoque fuera de los laboratorios más grandes, y se creía ampliamente, aunque no siempre confirmado oficialmente, que las arquitecturas MoE subyacían a algunos de los modelos frontera más grandes de los principales laboratorios, incluidos aspectos reportados del diseño de GPT-4.
Cómo funciona
En un transformador MoE típico, la capa densa de avance estándar que se encuentra en cada bloque del transformador se reemplaza con un conjunto de subredes expertas paralelas, a menudo numerando de ocho a varios cientos, junto con una red de compuerta o enrutador. Para cada token que pasa a través de la capa, el enrutador calcula una puntuación para cada experto y selecciona solo los pocos principales, comúnmente uno o dos, para procesar realmente ese token; las salidas de los expertos seleccionados se combinan luego, a menudo ponderadas por la confianza del enrutador, para producir la salida de la capa. Debido a que solo una fracción de los expertos se usa por token, el recuento de parámetros activos, o "activados", para cualquier pase hacia adelante único puede ser mucho más pequeño que el recuento total de parámetros del modelo, lo que permite que un modelo con cientos de miles de millones de parámetros totales funcione aproximadamente al costo computacional de un modelo denso mucho más pequeño para inferencia.
Ventajas y compensaciones
La principal ventaja de MoE es desacoplar la capacidad total del modelo del costo de cómputo por token, lo que permite que un modelo almacene más conocimiento y capacidad especializada a través de sus muchos expertos sin un aumento proporcional en el costo de usarlo. Esto ha hecho que MoE sea atractivo tanto para la eficiencia del entrenamiento, ya que se puede alcanzar una capacidad efectiva mayor bajo un presupuesto de cómputo fijo, como para la eficiencia de inferencia en el momento de servir. Las compensaciones son reales, sin embargo: los modelos MoE requieren sustancialmente más memoria total para mantener todos los expertos, aunque solo unos pocos se usen por token, lo que desplaza la carga de costos hacia la memoria y el almacenamiento en lugar del cómputo bruto; el enrutamiento puede ser inestable o desequilibrado durante el entrenamiento, con algunos expertos recibiendo mucho más tráfico que otros a menos que se usen técnicas específicas de equilibrio de carga; y los modelos MoE han sido históricamente más complejos de entrenar y servir eficientemente a través de múltiples aceleradores que modelos densos equivalentemente capaces.
Adopción
Para 2024 y 2025, la mezcla de expertos se había convertido en una elección arquitectónica común tanto entre modelos frontera de peso abierto como cerrado, apareciendo en sistemas que incluyen DeepSeek-R1, varias variantes de Qwen, y Grok, generalmente como una forma de alcanzar recuentos de parámetros totales muy grandes, a menudo en los cientos de miles de millones, mientras se mantiene el cómputo activo por token en un rango mucho más modesto y manejable. La técnica se discute frecuentemente junto con cuantización y destilación como una de las principales palancas que los laboratorios usan para gestionar el costo de servir modelos de lenguaje muy grandes a escala.