Fine-tuning é a prática de pegar um modelo que já foi treinado, geralmente em um conjunto de dados grande e de propósito geral durante o pré-treinamento, e continuar seu treinamento em um conjunto de dados menor e mais específico, para que ele se adapte a uma tarefa, domínio ou estilo particular. A técnica baseia-se na premissa do aprendizado por transferência: um modelo que já aprendeu estrutura estatística ampla, seja características visuais de imagens ou padrões linguísticos de texto, precisa de relativamente poucos dados adicionais e poder computacional para se especializar, em comparação com treinar um modelo de qualidade semelhante do zero.
História
O fine-tuning tornou-se uma prática padrão em visão computacional após o avanço do ImageNet em 2012, quando pesquisadores descobriram que redes convolucionais treinadas no ImageNet transferiam bem para tarefas menores e não relacionadas de classificação de imagens, com apenas um retreinamento leve das camadas finais. No processamento de linguagem natural, a técnica ganhou nova importância com o BERT em 2018, cujo paradigma de "pré-treinar e então ajustar", adaptando um único codificador pré-treinado a muitas tarefas downstream, como análise de sentimentos ou resposta a perguntas, tornou-se o fluxo de trabalho dominante por vários anos. Com o surgimento de grandes modelos de linguagem, o fine-tuning mudou de adaptar modelos para tarefas estreitas de classificação para o ajuste por instruções, onde um modelo base treinado puramente para prever o próximo token é ajustado em exemplos curados de instruções e respostas desejadas para que se comporte como um assistente útil, um passo usado no treinamento de sistemas como o ChatGPT.
Métodos
O fine-tuning completo atualiza todos os parâmetros de um modelo e, para os maiores modelos, exige poder computacional e memória substanciais, pois envolve armazenar gradientes e estados de otimizador para cada peso. Esse custo impulsionou o desenvolvimento de métodos de fine-tuning eficientes em parâmetros, que congelam a maior parte do modelo original e treinam apenas um pequeno número de parâmetros adicionais. O mais amplamente adotado deles é o LoRA, que insere pequenas matrizes de baixo posto nas camadas de um modelo e treina apenas essas, reduzindo drasticamente os requisitos de memória enquanto alcança resultados próximos ao fine-tuning completo em muitas tarefas. Outras abordagens incluem camadas de adaptadores, ajuste de prompts e ajuste de prefixos, cada uma equilibrando diferentes quantidades de flexibilidade contra eficiência.
O fine-tuning supervisionado (SFT) treina um modelo em pares rotulados de entrada-saída e é o primeiro passo padrão para adaptar um LLM base em um assistente que segue instruções. Isso é frequentemente seguido por métodos baseados em preferências, como RLHF ou otimização direta de preferências, que refinam ainda mais o comportamento do modelo usando julgamentos humanos sobre qual de duas saídas é melhor, em vez de um único rótulo correto.
Fine-tuning versus outras abordagens
O fine-tuning é frequentemente comparado com a geração aumentada por recuperação como uma forma de fazer um modelo produzir saídas mais precisas ou especializadas. O fine-tuning altera os pesos internos do modelo e é bem adequado para ensinar um estilo, formato ou habilidade especializada consistente; a recuperação, por sua vez, fornece fatos relevantes no momento da inferência sem alterar o modelo, tornando-a mais fácil de atualizar conforme as informações de origem mudam e menos propensa a sobrescrever as capacidades gerais do modelo. Na prática, os dois são frequentemente combinados, com um modelo ajustado recorrendo a documentos recuperados para fundamentação.
Riscos
O fine-tuning em um conjunto de dados estreito pode causar esquecimento catastrófico, onde o modelo perde capacidades gerais que tinha antes da adaptação, e o superajuste a um pequeno conjunto de ajuste é um risco persistente, particularmente quando o número de exemplos é pequeno em relação à capacidade do modelo. O fine-tuning em dados não filtrados ou mal curados também mostrou enfraquecer o treinamento de segurança de um modelo, uma preocupação que levou provedores a restringir ou monitorar o acesso ao fine-tuning de seus modelos mais capazes.