A destilação de conhecimento é uma técnica em aprendizado de máquina para transferir o comportamento aprendido de um modelo grande e computacionalmente caro, chamado de professor, para um modelo menor, chamado de aluno, de modo que o aluno se aproxime do desempenho do professor a uma fração do tamanho e do custo. Em vez de treinar o aluno apenas com rótulos rígidos, a destilação o treina para corresponder à distribuição de saída do professor, que carrega informações adicionais sobre o quão confiante o professor está em todas as respostas possíveis, não apenas na única correta.
História
A ideia central remonta a trabalhos sobre compressão de modelos no início dos anos 2000, mas a formulação moderna foi introduzida em 2015 por Geoffrey Hinton, Oriol Vinyals e Jeff Dean no artigo "Distilling the Knowledge in a Neural Network". Eles propuseram treinar o aluno nas probabilidades de saída suavizadas do professor, produzidas ao aumentar a "temperatura" da função softmax, argumentando que esses alvos suaves expõem similaridades relativas entre classes que os rótulos rígidos descartam. A técnica permaneceu um método de compressão de nicho durante os anos 2010, aplicada principalmente a redes neurais convolucionais para tarefas de visão, antes de se tornar central na era dos grandes modelos de linguagem.
Método
Na configuração padrão, o aluno é treinado com uma perda que combina dois termos: uma função de perda convencional contra os rótulos de verdade absoluta e um termo de divergência, tipicamente a divergência de Kullback-Leibler, entre as distribuições de saída suavizadas do aluno e do professor. O parâmetro de temperatura controla o quanto os alvos suaves são suavizados; temperaturas mais altas revelam mais da estrutura de incerteza do professor. Variantes estendem a ideia além da correspondência de saída: a destilação baseada em características alinha ativações de camadas intermediárias, e a destilação relacional corresponde a como o professor representa relações entre exemplos. A destilação é distinta de ajuste fino e LoRA, que adaptam os próprios pesos de um modelo existente em vez de treinar uma rede separada e menor a partir do sinal de um professor, embora as técnicas sejam frequentemente combinadas na prática.
Aplicações
A destilação tornou-se comercialmente significativa com a compressão da família BERT, mais notavelmente o DistilBERT (2019), que reteve cerca de 97% do desempenho de compreensão de linguagem do BERT com 40% menos parâmetros e inferência aproximadamente 60% mais rápida, tornando-o prático para IA de borda e implantação sensível à latência. A técnica ganhou atenção renovada em 2025 depois que o DeepSeek-R1 lançou uma família de modelos menores de pesos abertos destilados de seus próprios traços de raciocínio, mostrando que a destilação poderia transferir capacidade de raciocínio passo a passo, não apenas precisão de classificação, para modelos compactos que rodavam em hardware modesto. Grandes laboratórios também usam destilação internamente para produzir variantes mais baratas e rápidas de modelos emblemáticos para inferência de alto volume e para comprimir conjuntos de modelos em redes únicas implantáveis.
Limitações e críticas
Alunos destilados geralmente têm desempenho inferior ao de seus professores nos exemplos mais difíceis e podem herdar ou amplificar os vieses e pontos cegos do professor, já que são otimizados para imitar o professor em vez de modelar independentemente a tarefa subjacente. Há um debate contínuo sobre quanto da capacidade de um modelo pode sobreviver à destilação versus quanto depende da escala em si; algumas evidências sugerem que certas habilidades emergentes degradam desproporcionalmente em modelos destilados menores, mesmo quando as pontuações de benchmark parecem semelhantes. A destilação também se tornou comercialmente controversa: vários laboratórios de IA acusaram concorrentes de destilar modelos proprietários ao treinar em suas saídas em escala, uma prática que viola os termos de serviço da maioria dos provedores, mas é difícil de detectar ou provar, e tornou-se um ponto crítico na cobertura do choque do DeepSeek de janeiro de 2025.