Detalhes do Aprendizado por Transferência

Transfer learning (TL) é uma técnica em aprendizado de máquina na qual o conhecimento aprendido a partir de uma tarefa é reutilizado para melhorar o desempenho em uma tarefa relacionada. Por exemplo, para classificação de imagens, o conhecimento adquirido ao aprender a reconhecer carros poderia ser aplicado ao tentar reconhecer caminhões. Este tópico está relacionado à literatura psicológica sobre transferência de aprendizado, embora os vínculos práticos entre os dois campos sejam limitados. Reutilizar ou transferir informações de tarefas previamente aprendidas para novas tarefas tem o potencial de melhorar significativamente a eficiência do aprendizado. Como o transfer learning faz uso de treinamento com múltiplas funções objetivo, ele está relacionado ao aprendizado de máquina sensível a custos e à otimização multiobjetivo.

Na prática moderna, a forma dominante de transfer learning é o pré-treinamento de uma grande rede neural em uma tarefa fonte ampla e rica em dados, seguido pelo ajuste fino em uma tarefa alvo mais restrita com dados limitados. Essa abordagem sustenta muitos sucessos em aprendizado profundo, especialmente em processamento de linguagem natural (como visto com modelos de linguagem de grande escala) e visão computacional. O termo 'detalhes de transfer learning' frequentemente se refere às considerações práticas e teóricas envolvidas nesse processo de ajuste fino.

História

Em 1976, Bozinovski e Fulgosi publicaram um artigo abordando o transfer learning no treinamento de redes neurais. O artigo apresentou um modelo matemático e geométrico do tópico. Em 1981, um relatório considerou a aplicação do transfer learning a um conjunto de dados de imagens representando letras de terminais de computador, demonstrando experimentalmente transfer learning positivo e negativo. A transferência negativa ocorre quando o conhecimento da fonte prejudica o desempenho na tarefa alvo.

Em 1992, Lorien Pratt formulou o algoritmo de transferência baseada em discriminabilidade (DBT). Em 1998, o campo havia avançado para incluir aprendizado multitarefa, juntamente com fundamentos teóricos mais formais. Publicações influentes sobre transfer learning incluem o livro Learning to Learn em 1998, uma pesquisa de 2009 e uma pesquisa de 2019.

Andrew Ng disse em seu tutorial na NIPS 2016 que o transfer learning se tornaria o próximo motor do sucesso comercial do aprendizado de máquina após o aprendizado supervisionado. No artigo de 2020 'Rethinking Pre-Training and Self-Training', Zoph et al. relataram que o pré-treinamento pode prejudicar a precisão em alguns cenários e defenderam o autotreinamento em vez disso, destacando as compensações sutis do transfer learning.

Definição

A definição de transfer learning é dada em termos de domínios e tarefas. Um domínio D consiste em: um espaço de características X e uma distribuição de probabilidade marginal P(X), onde X = {x_1, ..., x_n} ∈ X. Dado um domínio específico D = {X, P(X)}, uma tarefa consiste em dois componentes: um espaço de rótulos Y e uma função preditiva objetiva f: X → Y. A função f prevê o rótulo f(x) de uma nova instância x. Essa tarefa, denotada T = {Y, f(x)}, é aprendida a partir de dados de treinamento que consistem em pares {x_i, y_i}.

Dado um domínio fonte D_S e uma tarefa de aprendizado T_S, e um domínio alvo D_T e uma tarefa de aprendizado T_T, onde D_S ≠ D_T ou T_S ≠ T_T, o transfer learning visa ajudar a melhorar o aprendizado da função preditiva alvo f_T(·) em D_T usando o conhecimento em D_S e T_S. A suposição chave é que as tarefas fonte e alvo são suficientemente relacionadas para que o conhecimento compartilhado possa ser transferido.

Mecanismo de Ajuste Fino

A implementação mais comum de transfer learning em aprendizado profundo é o ajuste fino. Um modelo é primeiro pré-treinado em um conjunto de dados grande e geral (a tarefa fonte). Em seguida, seus pesos são usados como inicialização para o treinamento na tarefa alvo. As camadas inferiores da rede pré-treinada, que tipicamente aprendem características genéricas, são frequentemente congeladas ou adaptadas com uma baixa taxa de aprendizado para preservar as representações aprendidas, enquanto as camadas superiores são retreinadas nos dados alvo.

O ajuste fino pode ser aplicado a toda a rede ou apenas a um subconjunto de camadas. Quando o conjunto de dados alvo é pequeno, os profissionais frequentemente congelam a maioria das camadas para evitar overfitting e apenas atualizam a cabeça de classificação final. Para conjuntos de dados alvo maiores, um ajuste fino mais agressivo é possível. Técnicas como dropout, normalização em lote e normalização de camada são comumente usadas durante o ajuste fino para regularizar o modelo.

Tipos de Transfer Learning

O transfer learning pode ser categorizado com base no nível de concordância entre domínios e tarefas fonte e alvo. Transfer learning indutivo ocorre quando as tarefas fonte e alvo diferem, mesmo que os domínios sejam os mesmos. Transfer learning transdutivo ocorre quando os domínios diferem, mas as tarefas são as mesmas. Transfer learning não supervisionado se aplica quando tanto as tarefas quanto os domínios diferem, mas dados rotulados não estão disponíveis.

Na prática, a maioria das aplicações de aprendizado profundo usa transfer learning indutivo com espaços de características idênticos - por exemplo, pré-treinar um transformador em texto genérico e ajustá-lo finamente para análise de sentimentos. O aprendizado multitarefa, onde um modelo é treinado em múltiplos objetivos simultaneamente, está intimamente relacionado e compartilha fundamentos matemáticos com o transfer learning.

Aplicações

O transfer learning é endêmico em aplicações de IA. Em visão computacional, modelos pré-treinados em ImageNet foram ajustados finamente para análise de imagens médicas, detecção de objetos e direção autônoma. Em processamento de linguagem natural, OpenAI e Google DeepMind lançaram grandes modelos pré-treinados que pesquisadores ajustam finamente para tarefas específicas, como resposta a perguntas ou tradução.

Exemplos específicos incluem BERT para compreensão de texto, que foi pré-treinado em modelagem de linguagem mascarada e ajustado finamente para classificação de sentimentos ou reconhecimento de entidades nomeadas. Em reconhecimento de fala, modelos pré-treinados em áudio geral são adaptados a ambientes acústicos. Em aprendizado por reforço, o transfer learning pode acelerar o aprendizado em novos ambientes reutilizando políticas de tarefas anteriores.

Considerações Teóricas

A eficácia do transfer learning depende da similaridade entre as distribuições fonte e alvo. Um resultado teórico chave é que o erro de generalização na tarefa alvo é limitado pelo erro na tarefa fonte mais um termo que mede a divergência entre os dois domínios. Essa relação orienta decisões práticas sobre quando aplicar o transfer learning.

A transferência negativa pode ocorrer quando o conhecimento da fonte é enganoso para a tarefa alvo. Por exemplo, o pré-treinamento em classificação de imagens com muitas classes pode não ajudar em uma tarefa alvo que tem uma distribuição de rótulos muito diferente. Técnicas de adaptação de domínio, como treinamento adversarial, visam minimizar a mudança de domínio. Geralmente, pesquisas recentes enfatizam que o transfer learning não é uma bala de prata; uma avaliação cuidadosa é necessária.

Técnicas de Otimização

O ajuste fino de grandes modelos pré-treinados requer otimização especializada. O otimizador Adam e suas variantes são escolhas padrão, frequentemente com uma taxa de aprendizado inicial mais baixa do que para treinamento do zero. Clipping de gradiente é frequentemente usado para prevenir explosões durante o ajuste fino. Aprendizado curricular também pode ser aplicado, onde o conjunto de dados alvo é apresentado em dificuldade crescente.

Outra abordagem é usar uma taxa de aprendizado menor para as camadas pré-treinadas e uma maior para as camadas recém-inicializadas. Além disso, técnicas de aumento de dados, como recorte aleatório ou mascaramento de tokens, podem ajudar o modelo a generalizar em conjuntos de dados alvo pequenos. Alguns métodos usam poda de modelo após o ajuste fino para reduzir o tamanho do modelo sem perda significativa de precisão.

Relação com Modelos de Linguagem de Grande Escala

O surgimento de modelos de linguagem de grande escala tornou o transfer learning mais crítico do que nunca. Modelos como GPT-3 e Claude são pré-treinados em corpora vastos e então adaptados para tarefas downstream por meio de ajuste fino ou prompting. Em alguns casos, o transfer learning é realizado em escala por meio de ajuste fino por instruções, onde um modelo é ajustado finamente em muitas tarefas simultaneamente para melhorar a generalização.

Aprendizado por reforço a partir de feedback humano (RLHF) é uma forma de transfer learning onde um modelo pré-treinado é ajustado finamente usando preferências humanas como sinal de recompensa. Essa abordagem tem sido instrumental para alinhar modelos com valores humanos. Pesquisas de Anthropic e OpenAI ilustram como o transfer learning se relaciona com segurança e alinhamento.

Desafios e Direções Futuras

Um grande desafio é o custo computacional do pré-treinamento, que frequentemente requer grandes clusters de hardware especializado, como AWS Trainium ou TPUs do Google Cloud. Há pesquisa ativa sobre transfer learning eficiente, incluindo métodos eficientes em parâmetros, como adaptadores ou LoRA, que atualizam apenas uma pequena fração dos pesos.

Outra preocupação é o esquecimento - ao ajustar finamente em uma nova tarefa, o modelo pode perder conhecimento da tarefa fonte. Abordagens de aprendizado contínuo visam mitigar isso. A partir do início dos anos 2020, o transfer learning permanece uma área de pesquisa ativa, com descobertas sutis sobre quando o pré-treinamento ajuda e quando não, como destacado por Zoph et al. Trabalhos futuros podem se concentrar em garantias teóricas e melhores métodos para evitar a transferência negativa.