El enrutamiento de Mixture of Experts (MoE) es una técnica en aprendizaje automático donde una red neuronal contiene múltiples subredes especializadas, llamadas expertos, y un mecanismo de compuerta que selecciona qué expertos activar para cada entrada. En el contexto del aprendizaje profundo moderno, el enrutamiento suele ser disperso: para cada token o entrada, solo se utiliza un pequeño subconjunto de expertos, lo que permite que el modelo tenga un número total de parámetros muy grande mientras mantiene el costo computacional por inferencia más bajo que un modelo denso de tamaño similar. Este enfoque se ha convertido en una piedra angular para escalar modelos de lenguaje grandes y otros sistemas de IA generativa.
El concepto se origina en el aprendizaje por conjuntos clásico, donde múltiples aprendices dividen un espacio de problemas en regiones homogéneas. Los trabajos tempranos en la década de 1990, como la red meta-pi y las mezclas adaptativas de expertos locales, sentaron las bases teóricas. En implementaciones modernas, el enrutamiento MoE se integra típicamente en arquitecturas transformadoras, donde las capas de avance se reemplazan por un conjunto de redes expertas y un enrutador que despacha tokens a los expertos más relevantes. Este diseño permite que modelos como los desarrollados por Google DeepMind y otros laboratorios alcancen un rendimiento de vanguardia con entrenamiento e inferencia eficientes.
Orígenes Históricos
Las raíces del enrutamiento MoE se remontan a principios de la década de 1990, cuando los investigadores exploraron máquinas de comité y métodos de conjuntos. Un sistema temprano notable fue la red meta-pi, reportada por Hampshire y Waibel, que combinaba salidas de múltiples redes neuronales con retardo temporal usando una función de ponderación. En sus experimentos de clasificación de fonemas de seis hablantes japoneses, entrenaron seis expertos y encontraron que la función de compuerta aprendía a dedicar un experto por hablante, excepto para un hablante masculino cuya voz era manejada por una combinación lineal de otros expertos masculinos. Esto demostró la capacidad del MoE para especializar expertos en diferentes regiones del espacio de entrada.
Otro trabajo fundacional fue las mezclas adaptativas de expertos locales, que usaban un modelo de mezcla gaussiana donde cada experto predecía una distribución gaussiana simple. La función de compuerta era una función lineal-softmax que asignaba pesos basados en la entrada. Estos modelos tempranos establecieron los componentes centrales del MoE: un conjunto de expertos, una función de compuerta y un procedimiento de entrenamiento basado en descenso de gradiente.
Compuerta Dispersa y Enrutamiento Moderno
El enrutamiento MoE moderno, como se usa en redes neuronales a gran escala, emplea compuerta dispersa. En lugar de calcular una suma ponderada de todos los expertos, el enrutador selecciona solo los k expertos principales (a menudo k=1 o k=2) para cada token. Esta dispersión es crucial para la eficiencia: si todos los expertos se activaran, el costo computacional escalaría linealmente con el número de expertos, anulando el propósito. El enrutamiento disperso permite que los modelos tengan cientos o miles de expertos mientras solo activan unos pocos por token, manteniendo las operaciones de punto flotante por token manejables.
La función de enrutamiento es típicamente una capa lineal aprendida seguida de un softmax sobre el conjunto de expertos. Durante el entrenamiento, el enrutador aprende a asignar tokens a expertos basándose en la representación del token. Sin embargo, el enrutamiento disperso ingenuo puede llevar a un desequilibrio de carga, donde unos pocos expertos reciben la mayoría de los tokens mientras otros permanecen subutilizados. Para abordar esto, las implementaciones modernas usan pérdidas auxiliares que fomentan un enrutamiento equilibrado, como la pérdida de equilibrio de carga introducida en el Switch Transformer.
Integración con Transformadores
En modelos basados en transformadores, el enrutamiento MoE se aplica más comúnmente a la subcapa de red de avance (FFN). En un transformador estándar, cada token pasa a través de una FFN densa. En un transformador MoE, la FFN se reemplaza por un conjunto de FFN expertas, y un enrutador decide qué expertos procesan cada token. Este diseño fue popularizado por el Switch Transformer, introducido por investigadores de Google DeepMind en 2021, que logró aceleraciones significativas en el entrenamiento de modelos grandes. Otra arquitectura influyente es la capa de Mixture of Experts en el marco GShard, que habilitó la traducción automática multilingüe eficiente.
Estos transformadores MoE han sido adoptados en muchos modelos de lenguaje grandes, incluidos los de OpenAI, Anthropic y otras organizaciones. Por ejemplo, se reporta que modelos como GPT-4 y Claude usan arquitecturas MoE, aunque los detalles exactos suelen ser propietarios. El mecanismo de enrutamiento permite que estos modelos escalen a billones de parámetros mientras mantienen costos de inferencia razonables.
Algoritmos de Enrutamiento y Equilibrio de Carga
Se han desarrollado varios algoritmos de enrutamiento para mejorar la eficiencia y efectividad del MoE. El más común es el enrutamiento top-k, donde el enrutador selecciona los k expertos con las puntuaciones de compuerta más altas. Las variantes incluyen enrutamiento top-k ruidoso, que añade ruido a las puntuaciones de compuerta durante el entrenamiento para fomentar la exploración, y enrutamiento por elección de experto, donde cada experto selecciona los tokens principales en lugar de que los tokens seleccionen expertos. Este último, propuesto por investigadores de Google en 2022, puede mejorar el equilibrio de carga y la estabilidad del entrenamiento.
El equilibrio de carga es un desafío crítico. Sin mecanismos explícitos, el enrutador puede colapsar para seleccionar siempre el mismo experto, llevando a una mala utilización. El Switch Transformer introdujo una pérdida auxiliar que penaliza el desequilibrio en la asignación de tokens. Otros métodos incluyen hashing diferenciable y enrutamiento jerárquico, donde un enrutador de primer nivel selecciona un grupo de expertos y un enrutador de segundo nivel selecciona dentro del grupo.
Aplicaciones en Modelos de Lenguaje Grandes
El enrutamiento MoE se ha convertido en una técnica estándar para escalar modelos de lenguaje grandes. Permite que los modelos tengan un número masivo de parámetros (por ejemplo, 1 billón) mientras usan solo una fracción de ellos para cada token, lo cual es esencial para servir modelos en entornos de producción. Empresas como OpenAI, Anthropic y Google DeepMind han integrado MoE en sus modelos insignia. Por ejemplo, el modelo Mixtral de Mistral AI usa una arquitectura MoE dispersa con 8 expertos, activando 2 por token, y logra un rendimiento competitivo con modelos densos mucho más grandes.
Además de los modelos de lenguaje, el enrutamiento MoE se usa en otros dominios como visión por computadora y reconocimiento de voz. Por ejemplo, el modelo V-MoE aplica MoE a transformadores de visión, y la arquitectura GShard se ha utilizado para traducción automática neuronal. La técnica también es relevante para las ofertas de Amazon Web Services y Google Cloud, que proporcionan infraestructura para entrenar y servir modelos MoE.
Desafíos y Direcciones Futuras
A pesar de sus ventajas, el enrutamiento MoE presenta varios desafíos. Un problema importante es el consumo de memoria: todos los parámetros de los expertos deben almacenarse en memoria, incluso si solo se activan unos pocos. Esto requiere paralelismo de modelos sofisticado y gestión de memoria, a menudo usando técnicas como paralelismo de expertos y descarga. Otro desafío es la inestabilidad del entrenamiento, ya que el enrutador y los expertos pueden entrar en bucles de retroalimentación que causan oscilaciones. Los investigadores han propuesto varias técnicas de estabilización, como recorte de gradiente e inicialización cuidadosa.
Las direcciones futuras incluyen algoritmos de enrutamiento más eficientes, mejor equilibrio de carga y métodos para reducir la huella de memoria de los expertos. También hay investigación en curso para hacer el MoE más interpretable, ya que las decisiones de enrutamiento pueden proporcionar información sobre cómo se especializan los modelos. A partir de 2025, el enrutamiento MoE sigue siendo un área activa de investigación, con nuevas arquitecturas y técnicas que emergen regularmente.
Conclusión
El enrutamiento de Mixture of Experts es una técnica poderosa para escalar redes neuronales al activar selectivamente subconjuntos de expertos por entrada. Desde sus raíces tempranas en el aprendizaje por conjuntos hasta su integración moderna en transformadores, el MoE ha permitido el desarrollo de modelos extremadamente grandes que son tanto eficientes como capaces. A medida que crece la demanda de sistemas de IA más grandes y capaces, el enrutamiento MoE probablemente continuará desempeñando un papel central en la evolución de la inteligencia artificial.