Mixture of Experts (MoE) routing é uma técnica em aprendizado automático onde uma rede neural contém múltiples sub-redes especializadas, chamadas de expertos, e um mecanismo de portão que seleciona quais expertos ativar para cada entrada. No contexto do aprendizado profundo moderno, o routing é frequentemente esparso: para cada token ou entrada, apenas um pequeno subconjunto de expertos é usado, o que permite que o modelo tenha um número total de parâmetros muito grande enquanto mantiene o custo computacional por inferência menor que um modelo denso de tamanho similar. Esta abordagem se tornou uma pedra angular para escalar modelos de linguagem grandes e outros sistemas de IA generativa.
O conceito origina-se do aprendizado ensemble clássico, onde múltiples aprendices dividem um espaço de problemas em regiões homogéneas. Trabalhos iniciais na década de 1990, como a rede meta-pi e misturas adaptativas de expertos locais, estabeleceron a base teórica. Em implementações modernas, o routing MoE é tipicamente integrado em arquiteturas transformers, onde as capas feed-forward são substituídas por um conjunto de redes expertas e um router que despacha tokens aos expertos mais relevantes. Este design permite que modelos como os desenvolvidos por Google DeepMind e outros laboratorios alcancen desempeño de última generación com treinamento e inferência eficientes.
Orígenes Históricos
As raíces do routing MoE remontam ao início dos anos 1990, quando pesquisadores exploraron máquinas de comité e métodos ensemble. Um sistema inicial notável foi a rede meta-pi, reportada por Hampshire e Waibel, que combinaba saídas de múltiples redes neurais com atraso temporal usando uma função de ponderación. Em seus experimentos de classificação de fonemas de seis falantes japoneses, treinaron seis expertos e descobriron que a função de portão aprendió a dedicar um experto por falante, excepto para um falante masculino cuja voz era manejada por uma combinação linear de outros expertos masculinos. Esto demonstrou a capacidade do MoE de especializar expertos em diferentes regiões do espaço de entrada.
Outro trabalho fundamental foi o de misturas adaptativas de expertos locais, que usaba um modelo de mistura gaussiana onde cada experto predizia uma distribuição gaussiana simples. A função de portão era uma função linear-softmax que asignaba pesos baseados na entrada. Estes modelos iniciais estabeleceron os componentes centrais do MoE: um conjunto de expertos, uma função de portão, e um procedimento de treinamento baseado em gradiente descendente.
Gating Esparso e Routing Moderno
O routing MoE moderno, usado em redes neurais de grande escala, emprega gating esparso. Em vez de calcular uma soma ponderada de todos os expertos, o router selecciona apenas os top-k expertos (frecuentemente k=1 ou k=2) para cada token. Esta esparsidade é crucial para a eficiencia: se todos os expertos fossen ativados, o custo computacional escalaría linearmente com o número de expertos, derrotando o propósito. O routing esparso permite que modelos tenham centenas ou milhares de expertos enquanto ativan apenas alguns por token, mantendo as operações de ponto flotante por token manejables.
A função de routing é tipicamente uma capa linear aprendida seguida de um softmax sobre o conjunto de expertos. Durante o treinamento, o router aprende a asignar tokens a expertos baseado na representação do token. No entanto, o routing esparso ingênuo pode levar a desequilibrio de carga, onde poucos expertos receben a maioria dos tokens enquanto outros permanecen subutilizados. Para abordar esto, implementações modernas usan perdas auxiliares que encorajan routing balanceado, como a perda de balanceamento de carga introducida no Switch Transformer.
Integração com Transformers
Em modelos baseados em transformers, o routing MoE é mais comumente aplicado à subcapa feed-forward (FFN). Em um transformer padrão, cada token passa através de uma FFN densa. Em um transformer MoE, a FFN é substituída por um conjunto de FFNs expertas, e um router decide quais expertos processan cada token. Este design foi popularizado pelo Switch Transformer, introducido por pesquisadores de Google DeepMind em 2021, que alcanzó aceleraciones significativas no treinamento de modelos grandes. Outra arquitetura influente é a capa Mixture of Experts no framework GShard, que habilitó traducción automática multilingüe eficiente.
Estes transformers MoE foram adotados em muitos modelos de linguagem grandes, incluindo os de OpenAI, Anthropic, e outras organizações. Por exemplo, modelos como GPT-4 e Claude são reportados como usando arquiteturas MoE, aunque os detalhes exactos são frecuentemente proprietários. O mecanismo de routing permite que estes modelos escalen a trilhões de parâmetros enquanto mantienen custos de inferência razoables.
Algoritmos de Routing e Balanceamento de Carga
Vários algoritmos de routing foram desenvolvidos para melhorar a eficiencia e efetividade do MoE. O mais comum é o routing top-k, onde o router selecciona os k expertos com as maiores puntuaciones de gating. Variantes incluem routing top-k ruidoso, que agrega ruido às puntuaciones de gating durante o treinamento para encorajar exploración, e routing por escolha de experto, onde cada experto selecciona os tokens principais em vez de tokens seleccionar expertos. Esta última, proposta por pesquisadores de Google em 2022, pode melhorar o balance de carga e a estabilidad do treinamento.
O balanceamento de carga é um desafío crítico. Sem mecanismos explícitos, o router pode colapsar para sempre seleccionar o mesmo experto, levando a uma utilização pobre. O Switch Transformer introdujo uma perda auxiliar que penaliza o desequilibrio na asignación de tokens. Outros métodos incluyen hashing diferenciable e routing jerárquico, onde um router de primeiro nível selecciona um grupo de expertos e um router de segundo nível selecciona dentro do grupo.
Aplicações em Modelos de Linguagem Grandes
O routing MoE se tornou uma técnica padrão para escalar modelos de linguagem grandes. Permite que modelos tenham um número massivo de parâmetros (por exemplo, 1 trilión) enquanto usan apenas uma fracción deles por token, o que é essencial para servir modelos em ambientes de produção. Empresas como OpenAI, Anthropic, e Google DeepMind integraron MoE em seus modelos insignia. Por exemplo, o modelo Mixtral de Mistral AI usa uma arquitetura MoE esparsa com 8 expertos, ativando 2 por token, e alcanza desempeño competitivo com modelos densos muito maiores.
Además de modelos de linguagem, o routing MoE é usado em outros domínios como visión por computador e reconhecimiento de voz. Por exemplo, o modelo V-MoE aplica MoE a transformers de visión, e a arquitetura GShard foi usada para traducción automática neural. A técnica também é relevante para ofertas de Amazon Web Services e Google Cloud, que proporcionan infraestructura para treinar e servir modelos MoE.
Desafíos e Direções Futuras
A pesar de suas vantagens, o routing MoE presenta vários desafíos. Um problema maior é o consumo de memória: todos os parâmetros dos expertos devem ser almacenados em memória, mesmo se apenas alguns são ativados. Esto requer paralelismo de modelo sofisticado e gestión de memória, frecuentemente usando técnicas como paralelismo de expertos e offloading. Outro desafío é a inestabilidad do treinamento, já que o router e os expertos podem entrar em ciclos de retroalimentación que causan oscilaciones. Pesquisadores propuseron várias técnicas de estabilización, como recorte de gradiente e inicialización cuidadosa.
Direções futuras incluem algoritmos de routing más eficientes, mejor balanceamento de carga, e métodos para reducir a pegada de memória dos expertos. Também há pesquisa contínua para fazer o MoE más interpretable, já que as decisões de routing podem proporcionar insights sobre como os modelos se especializan. A partir de 2025, o routing MoE permanece como uma área activa de pesquisa, com novas arquiteturas e técnicas emergindo regularmente.
Conclusão
Mixture of Experts routing é uma técnica poderosa para escalar redes neurais seleccionando seletivamente subconjuntos de expertos por entrada. Desde suas raíces iniciais no aprendizado ensemble até sua integración moderna em transformers, MoE habilitó o desenvolvimento de modelos extremadamente grandes que são tanto eficientes como capaces. A medida que a demanda por sistemas de IA maiores e más capaces cresce, o routing MoE provavelmente continuará desempeñando um papel central na evolución da inteligência artificial.