Um cronograma de aquecimento é uma técnica de agendamento de taxa de aprendizado usada em aprendizado profundo para aumentar gradualmente a taxa de aprendizado de um valor inicial pequeno para um valor alvo ao longo de um número limitado de etapas de treinamento. É aplicado no início do treinamento do modelo, antes da fase principal de decaimento do cronograma geral de taxa de aprendizado. O objetivo principal de um aquecimento é estabilizar o processo de otimização durante as primeiras épocas, quando os parâmetros do modelo estão longe do ideal e os gradientes podem ser grandes ou ruidosos. Ao começar com uma taxa de aprendizado baixa, a fase de aquecimento evita grandes atualizações de parâmetros que poderiam desestabilizar o treinamento ou fazer a perda divergir, e permite que o modelo se mova para uma região da paisagem de perda onde passos maiores são seguros. Cronogramas de aquecimento são particularmente importantes para treinar grandes modelos de linguagem, transformadores e outras arquiteturas profundas que dependem de normalização em lote, normalização de camada ou otimizadores adaptativos como Adam.
A fase de aquecimento é tipicamente combinada com cronogramas de decaimento subsequentes, como decaimento linear, decaimento de cosseno ou decaimento exponencial, que reduzem a taxa de aprendizado para um valor próximo de zero ao longo do restante do treinamento. Um cronograma típico pode incluir um aquecimento linear ao longo das primeiras centenas ou milhares de etapas, seguido por um decaimento de cosseno até o final do treinamento. A escolha da duração do aquecimento e da taxa de aprendizado de pico depende do tamanho do modelo, do conjunto de dados, do tamanho do lote e do otimizador usado, e é frequentemente escolhida empiricamente via ajuste de hiperparâmetros. O aquecimento é agora um componente padrão nos pipelines de treinamento de muitos modelos proeminentes, incluindo redes neurais recorrentes, redes neurais convolucionais e modelos generativos como grandes modelos de linguagem.
História e Origens
O conceito de aquecimento de taxa de aprendizado emergiu no contexto da pesquisa em aprendizado profundo em meados da década de 2010. Um dos primeiros usos documentados é atribuído a pesquisadores da Google (anteriormente conhecida como Google research) que treinaram modelos de classificação de imagens e identificaram que começar com uma taxa de aprendizado alta poderia causar divergência severa. Em um artigo de 2013 sobre treinamento de redes profundas, Bernard Widrow e outros estudaram taxas de aprendizado adaptativas, mas o termo específico "warmup" ganhou força por volta de 2018 com a publicação das técnicas de treinamento relacionadas ao Adam no artigo original do BERT. O artigo do BERT, lançado pela Google em 2018, usou explicitamente um aquecimento de 10.000 etapas para o pré-treinamento. Essa prática foi amplamente adotada na comunidade de PLN.
Otimizadores adaptativos como Adam e suas variantes, incluindo SGD com momentum, são particularmente propensos à instabilidade quando taxas de aprendizado grandes são aplicadas cedo. O aquecimento ajuda a mitigar um fenômeno onde as primeiras etapas produzem gradientes enormes, inflando as estimativas de taxa de aprendizado adaptativa, levando a uma convergência ruim. Técnicas como recorte de gradiente, normalização em lote e recorte de gradiente também abordam instabilidade semelhante, mas o aquecimento é frequentemente mais simples e mais geral.
Motivação e Teoria
A motivação principal para um cronograma de aquecimento reside no trade-off entre exploração e estabilidade. Na inicialização, os pesos do modelo são geralmente sorteados de uma distribuição aleatória com média zero, o que pode produzir ativações e gradientes grandes. Atribuir uma taxa de aprendizado alta neste ponto pode fazer os pesos saltarem para uma região onde a perda é enorme ou o modelo apenas captura ruído. Uma taxa de aprendizado baixa permite que o modelo corrija lentamente os erros iniciais, movendo-se gradualmente para regiões mais estáveis.
Além disso, otimizadores adaptativos como Adam mantêm estimativas de segundo momento de gradientes agregados. Se um pico de gradiente grande ocorrer dentro das primeiras etapas, a média móvel do otimizador fica inflada, reduzindo a taxa de aprendizado efetiva para etapas futuras e desacelerando a convergência. O aquecimento dá ao otimizador tempo para obter estatísticas confiáveis antes de aprender em capacidade total.
Trabalhos teóricos recentes mostraram uma conexão entre o aquecimento e a transição de comportamento de cobertura de modos para busca de modos na aprendizagem bayesiana, mas a explicação mais prática centra-se no ruído do gradiente. No início do treinamento, as estimativas de estocasticidade são ruidosas devido a tamanhos efetivos de amostra pequenos e saídas de rede mal escaladas. Um aquecimento linear é frequentemente suficiente para suavizar o processo.
Tipos de Cronogramas de Aquecimento
Existem várias implementações comuns de aquecimento:
- Aquecimento linear: A taxa de aprendizado aumenta linearmente de quase zero para o valor alvo ao longo de um número especificado de etapas (por exemplo, 3.000 etapas). Usado no treinamento estilo BERT e em muitas implementações de transformadores.
- Aquecimento exponencial: A taxa de aprendizado aumenta exponencialmente de um valor baixo. Raramente usado, frequentemente substituído por linear ou polinomial.
- Aquecimento polinomial: A taxa de aprendizado escala como um polinômio do índice da etapa, frequentemente com um grau pequeno como 2 ou 3.
- Aquecimento constante: A taxa de aprendizado é mantida em um valor baixo constante por um período fixo, depois aumentada para o alvo.
- Política de um ciclo e super-convergência: Às vezes usa um aquecimento curto combinado com um cronograma cíclico.
Na prática, o aquecimento linear é o mais comum em bibliotecas de transformadores, como modelos GPT, e é frequentemente referido como "etapas de aquecimento" em arquivos de configuração. Por exemplo, uma execução de treinamento típica pode usar 2% do total de etapas de treinamento para aquecer de 0,1 até a taxa de aprendizado máxima.
Aquecimento em Grandes Modelos de Linguagem
Grandes modelos de linguagem como GPT-3, Llama 2 e BLOOM usam uma fase de aquecimento para estabilidade. Por exemplo, o artigo do GPT-3 relatou usar um aquecimento de 250.000 etapas (ou cerca de 3% do total de etapas) com um decaimento de cosseno para 10% da taxa inicial. Outros modelos como LLaMA usam um cronograma de cosseno com aquecimento para 1.000 etapas. O ajuste fino ou pré-treinamento de tais modelos, que frequentemente têm bilhões de parâmetros, requer ajuste cuidadoso da taxa de aprendizado e da duração do aquecimento, e isso é tipicamente registrado em artigos de pesquisa.
Na prática, o aquecimento contribui para a estabilidade dos loops de treinamento e reduz a chance de divergência da perda, o que pode desperdiçar computação protegida. Em alguns frameworks de treinamento, o cronograma de aquecimento é analisado a partir de uma configuração de agendamento de taxa de aprendizado que permite valores separados para etapas de aquecimento, fator inicial de aquecimento e decaimento.
Aquecimento em Visão Computacional
O aquecimento também é usado em tarefas de visão computacional. O treinamento clássico do ResNet no artigo de 2015 usou um otimizador de momentum com decaimento por etapas, mas trabalhos posteriores como ResNet no ImageNet receberam um aquecimento linear de uma taxa de aprendizado inicial de 0,1, mas isso foi frequentemente aplicado por 5 épocas. No treinamento de transformadores de visão, o aquecimento é padrão, com o ViT usando um aquecimento de 500 etapas (cerca de 0,5 épocas) no ImageNet. Artigos que usaram normalização em lote em redes neurais às vezes dependiam do aquecimento para compensar a instabilidade das estatísticas de normalização em lote nas primeiras poucas levas.
Considerações Práticas e Hiperparâmetros
A duração do aquecimento é um hiperparâmetro, selecionado com base no tamanho do modelo, total de etapas de treinamento, tamanho do lote e otimizador. Muitas implementações usam por padrão aquecimento linear para cerca de 10 a 20% do total de etapas de treinamento. Para execuções longas, como treinar um transformador em bilhões de tokens, o aquecimento pode estar na casa dos milhares de etapas. Frequência excessiva: um aquecimento muito longo desperdiça computação, e muito curto pode levar à divergência.
A taxa de aprendizado alvo após o aquecimento é geralmente a taxa de aprendizado máxima. Esse valor é frequentemente escolhido entre 1e-4 e 1e-3 para transformadores típicos com o otimizador Adam. Alguns artigos usam uma taxa de aprendizado máxima encontrada por um localizador de taxa de aprendizado ou varreduras de hiperparâmetros. Outra prática é manter a taxa de aprendizado em um nível constante após o aquecimento, depois usar decaimento exponencial.
O aquecimento é frequentemente combinado com agendamento de taxa de aprendizado porque o aquecimento é uma modificação do cronograma de taxa de aprendizado. Bibliotecas como PyTorch (com o agendador de taxa de aprendizado) e TensorFlow suportam funções embutidas para aquecimento e decaimento; código de exemplo é frequentemente usado em scripts de treinamento.
Resultados Empíricos e Estudos
Múltiplos estudos de pesquisa validaram o benefício do aquecimento. Em um estudo de 2017 sobre épocas de treinamento mais longas, um aquecimento de menos de 100 etapas resultou em uma melhoria relativa de 5% na precisão de teste para classificação de imagens. Para modelos em larga escala, uma linha de base comum para treinamento de transformadores estilo GPT do zero é um aumento gradual de 1.000 etapas com uma proporção de 1/3 de aquecimento variável. Uma análise conhecida de pré-impressão de terceiros sobre 'Grokking' em aprendizado profundo descobriu que o aquecimento é crucial para que a arquitetura escape de problemas iniciais de atenção.
Análises formais da paisagem de perda durante o aquecimento também existem, mostrando que a curvatura da perda muda significativamente, e o aquecimento pode ajudar a evitar regiões de mínimos acentuados. Alguns veem isso como um mecanismo para equilibrar o peso na bacia de atração.
Alternativas e Técnicas Relacionadas
O aquecimento não é o único método para estabilizar o treinamento inicial. Abordagens alternativas incluem taxas de aprendizado alvo mais lentas desde o início, usando cronogramas de taxa de aprendizado como decaimento por etapas ou quantidades baseadas em uso, ou usando técnicas de reinício quente como annealing de cosseno com reinícios (que em si inclui uma forma de aquecimento). O recorte de gradiente (recorte de gradiente) é frequentemente usado em conjunto com o aquecimento para mitigar picos. Também para otimizadores, o otimizador Adam com betas definidos para 0,9 e 0,999 pode exigir ajuste durante o aquecimento. Alguns trabalhos sobre otimizadores sem cronograma (por exemplo, o artigo de 2024 de Defazio e Mishchenko) introduziram um método sem cronograma sem aquecimento, mas isso permanece menos comum.
Direções Futuras e Pesquisa
Pesquisas de 2023-2025 exploraram múltiplas fases de aquecimento ou aquecimento adaptativo baseado em estatísticas de gradiente, mas a prática padrão permanece o aquecimento linear. Em jogos de escala de transformadores mais recentes, há interesse contínuo na duração do aquecimento como um hiperparâmetro em treinamento baseado em nuvem. Um artigo de 2024 do grupo de pesquisa da OpenAI afirmou que o aquecimento como uma fração de etapas passou por grandes modelos. Há também otimizadores eficientes em memória que vinculam o aquecimento ao primeiro momentum do Adam, mas nenhum o substituiu.
O aquecimento permanece um componente básico, mas crucial, que afeta a taxa de convergência e o desempenho final em aprendizado profundo em domínios de processamento de linguagem natural, visão computacional e aprendizado por reforço. Sua implementação simples e eficácia comprovada garantem que permanecerá padrão em pipelines de aprendizado profundo no futuro previsível.