Transfer learning é a prática de reutilizar um modelo, ou as representações que ele aprendeu, de uma tarefa como ponto de partida para uma tarefa diferente, porém relacionada, em vez de treinar um novo modelo a partir de pesos inicializados aleatoriamente. Baseia-se na observação de que muitas tarefas dentro de um domínio, como reconhecer bordas e formas em imagens ou compreender gramática e relações entre palavras em textos, compartilham estrutura subjacente, de modo que um modelo que já aprendeu essa estrutura precisa de relativamente poucos dados adicionais para se especializar ainda mais.
História e motivação
Transfer learning tem raízes na ciência cognitiva e na pesquisa inicial de aprendizado de máquina dos anos 1990, explorando "aprender a aprender", mas tornou-se um paradigma prático dominante após o momento ImageNet de 2012, quando AlexNet demonstrou que uma rede neural convolucional treinada em um milhão de imagens rotuladas aprendia características visuais, bordas, texturas e partes de objetos, que transferiam notavelmente bem para problemas de classificação de imagens totalmente diferentes, com apenas uma pequena quantidade de dados específicos da tarefa e retreinamento. Isso tornou o transfer learning a estratégia padrão em visão computacional por anos: em vez de treinar do zero, profissionais pegavam uma rede pré-treinada no ImageNet e a adaptavam.
No processamento de linguagem natural, uma mudança análoga chegou mais tarde, catalisada por trabalhos como a abordagem ULMFiT de Jeremy Howard e Sebastian Ruder e, decisivamente, pelo BERT em 2018, que mostrou que um único modelo pré-treinado em um objetivo genérico de modelagem de linguagem poderia ser ajustado para desempenho de ponta em uma ampla gama de tarefas de PLN. Isso estabeleceu "pré-treinar e transferir" como a receita padrão que continua a sustentar os modernos grandes modelos de linguagem.
Relação com pré-treinamento e ajuste fino
Transfer learning é o princípio geral; pré-treinamento e ajuste fino são o mecanismo específico pelo qual ele geralmente é realizado no aprendizado profundo hoje. Um modelo é pré-treinado em um grande conjunto de dados geral, frequentemente usando aprendizado autossupervisionado para que nenhum rótulo manual seja necessário, e esse modelo pré-treinado é então ajustado em um conjunto de dados rotulado menor para a tarefa alvo. O sucesso do transfer learning depende de quão relacionadas são as tarefas ou domínios de origem e alvo: transferir de imagens naturais para raios-X médicos funciona menos bem do que transferir entre duas tarefas de imagens naturais, porque a estrutura estatística de baixo nível dos dados difere mais.
Técnicas
Existem várias estratégias para quanto de um modelo pré-treinado adaptar. A extração de características congela a rede pré-treinada inteiramente e treina apenas uma nova camada final sobre suas saídas, útil quando o conjunto de dados alvo é muito pequeno. O ajuste fino completo atualiza todos os parâmetros e geralmente alcança o melhor desempenho quando há dados suficientes do domínio alvo disponíveis. Métodos eficientes em parâmetros, como LoRA, situam-se entre esses extremos, adaptando um pequeno número de parâmetros adicionais enquanto deixam a maioria dos pesos pré-treinados intocados, o que se tornou especialmente importante à medida que os modelos base cresceram para centenas de bilhões de parâmetros.
Significância
Transfer learning é uma das principais razões pelas quais o aprendizado profundo se tornou prático fora de um punhado de laboratórios bem financiados: uma equipe de pesquisa ou empresa sem orçamento para treinar um grande modelo do zero ainda pode construir um sistema especializado e capaz, adaptando um modelo pré-treinado existente. Também sustenta a mudança mais ampla em direção aos modelos de fundação, onde um único grande modelo pré-treinado serve como substrato compartilhado para muitas aplicações downstream, em vez de cada aplicação exigir seu próprio modelo treinado do zero. A limitação central da técnica, às vezes chamada de transferência negativa, é que adaptar um modelo a um domínio muito dissimilar de seus dados de pré-treinamento pode ter desempenho pior do que treinar do zero, tornando a escolha de um modelo base bem correspondido uma decisão prática importante.