Mistura de especialistas
Mistura de especialistas, comumente abreviada como MoE, é uma arquitetura de rede neural na qual um modelo contém muitos subredes especializadas, chamadas de especialistas, mas apenas um pequeno subconjunto delas é ativado para qualquer entrada dada. Um mecanismo de roteamento, tipicamente uma pequena rede aprendida própria, examina cada entrada, como um token em uma camada de transformador, e decide quais especialistas devem processá-la. Esse padrão de ativação esparsa permite que o número total de parâmetros em um modelo cresça muito, enquanto a quantidade de computação necessária para processar cada token permanece muito menor, já que a maioria dos parâmetros do modelo fica ociosa para qualquer entrada específica.
A ideia central remonta aos primeiros trabalhos sobre misturas adaptativas de especialistas locais no início dos anos 1990, bem antes da era do aprendizado profundo, mas foi revivida e ampliada substancialmente com o surgimento de modelos baseados em transformador. Pesquisadores do Google demonstraram camadas de mistura de especialistas com portas esparsas integradas em grandes modelos de linguagem no final dos anos 2010, e a abordagem ganhou ampla adoção como uma forma de escalar a capacidade de modelos de linguagem de grande porte ao longo do início dos anos 2020. Os modelos Mixtral da Mistral AI, lançados em dezembro de 2023, estiveram entre as demonstrações abertas mais proeminentes da abordagem fora dos maiores laboratórios, e acredita-se amplamente - embora nem sempre confirmado oficialmente - que arquiteturas MoE também sustentam alguns dos maiores modelos de fronteira de grandes laboratórios, incluindo aspectos relatados do design do GPT-4.
Como funciona
Em um transformador MoE típico, a camada de alimentação direta densa padrão encontrada em cada bloco do transformador é substituída por um conjunto paralelo de subredes especialistas, geralmente numerando de oito a várias centenas, juntamente com uma rede de portão ou roteador. Para cada token que passa pela camada, o roteador calcula uma pontuação para cada especialista e seleciona apenas os poucos principais, comumente um ou dois, para realmente processar aquele token; as saídas dos especialistas selecionados são então combinadas, frequentemente ponderadas pela confiança do roteador, para produzir a saída da camada. Como apenas uma fração dos especialistas é usada por token, a contagem de parâmetros ativos, ou "ativados", para qualquer passagem direta individual pode ser muito menor do que a contagem total de parâmetros do modelo, permitindo que um modelo com centenas de bilhões de parâmetros totais opere a um custo computacional aproximadamente equivalente ao de um modelo denso muito menor para inferência.
Vantagens e trade-offs
A principal vantagem do MoE é desacoplar a capacidade total do modelo do custo computacional por token, permitindo que o modelo armazene mais conhecimento e capacidade especializada em seus muitos especialistas sem um aumento proporcional no custo de uso. Isso tornou o MoE atraente tanto para eficiência de treinamento, já que maior capacidade efetiva pode ser alcançada sob um orçamento computacional fixo, quanto para eficiência de inferência em tempo de serviço. No entanto, os trade-offs são reais: modelos MoE exigem substancialmente mais memória total para armazenar todos os especialistas, mesmo que apenas alguns sejam usados por token, o que desloca o ônus do custo para memória e armazenamento em vez de computação bruta; o roteamento pode ser instável ou desbalanceado durante o treinamento, com alguns especialistas recebendo tráfego muito maior do que outros, a menos que técnicas específicas de balanceamento de carga sejam empregadas; e modelos MoE historicamente têm sido mais complexos de treinar e servir eficientemente em múltiplos aceleradores do que modelos densos de capacidade equivalente.
Adoção
Em 2024 e 2025, a mistura de especialistas tornou-se uma escolha arquitetural comum entre modelos abertos e fechados de fronteira, aparecendo em sistemas como DeepSeek-R1, várias variantes do Qwen e Grok, geralmente como uma forma de alcançar contagens totais de parâmetros muito grandes, frequentemente na casa das centenas de bilhões, enquanto mantém o custo computacional ativo por token em uma faixa muito mais modesta e administrável. A técnica é frequentemente discutida ao lado de quantização e destilação como uma das principais alavancas que laboratórios usam para gerenciar o custo de servir grandes modelos de linguagem em escala.