AMSGrad é um algoritmo de otimização usado em aprendizado de máquina e aprendizado profundo para treinar redes neurais. Foi proposto em 2018 por Sashank J. Reddi, Satyen Kale e Sanjiv Kumar em um artigo intitulado 'On the Convergence of Adam and Beyond'. AMSGrad é uma variante do popular otimizador Adam, projetado para corrigir um problema teórico de convergência no Adam, modificando a forma como os gradientes passados são agregados. A mudança principal é que o AMSGrad mantém um máximo contínuo dos gradientes quadrados passados, em vez de uma média móvel exponencial, o que garante que a taxa de aprendizado efetiva não aumente ao longo do tempo. Esse ajuste melhora as garantias de convergência do algoritmo em certos cenários, particularmente para problemas de otimização convexos e não convexos. O AMSGrad foi amplamente adotado em pesquisa e prática, embora seus benefícios práticos sobre o Adam sejam frequentemente modestos e dependentes do problema.
O algoritmo mantém duas variáveis de estado para cada parâmetro: uma estimativa do primeiro momento (a média dos gradientes) e uma estimativa do segundo momento (o máximo dos gradientes quadrados). A cada iteração, o primeiro momento é atualizado como uma média móvel exponencial do gradiente, semelhante ao Adam. O segundo momento é atualizado tomando o máximo elemento a elemento entre o gradiente quadrado atual e a estimativa anterior do segundo momento. A atualização do parâmetro então divide o primeiro momento pela raiz quadrada do segundo momento, com um pequeno termo epsilon para estabilidade numérica. Esse design impede que o segundo momento diminua, o que, por sua vez, impede que a taxa de aprendizado aumente, um comportamento que pode ocorrer no Adam quando a magnitude do gradiente encolhe.
A motivação para o AMSGrad surgiu de um contraexemplo mostrando que o Adam pode falhar em convergir para a solução ótima em certos problemas convexos simples. Reddi, Kale e Kumar demonstraram que a média móvel exponencial dos gradientes quadrados no Adam pode fazer com que a taxa de aprendizado efetiva se torne muito grande, levando a oscilações e divergência. Ao usar o máximo, o AMSGrad garante uma taxa de aprendizado monotonicamente não crescente, o que restaura as garantias de convergência. O artigo também forneceu limites de arrependimento para o AMSGrad, mostrando que ele alcança a mesma ordem de arrependimento que o Adam em cenários estocásticos.
Contexto e o Otimizador Adam
Adam (Estimativa Adaptativa de Momentos) foi introduzido por Diederik Kingma e Jimmy Ba em 2014 e se tornou um dos otimizadores mais amplamente usados em aprendizado profundo. O Adam combina as vantagens de duas outras extensões da descida de gradiente estocástica: AdaGrad, que adapta as taxas de aprendizado por parâmetro com base na soma dos gradientes quadrados, e RMSProp, que usa uma média móvel exponencial dos gradientes quadrados. O Adam mantém tanto um primeiro momento (média) quanto um segundo momento (variância) dos gradientes, e aplica correção de viés para compensar a inicialização zero. O algoritmo é conhecido por sua robustez às escolhas de hiperparâmetros e por sua capacidade de lidar com gradientes esparsos e dados ruidosos.
No entanto, em 2018, Reddi, Kale e Kumar identificaram uma falha na prova de convergência do Adam. Eles construíram um problema de otimização convexo simples onde o Adam falha em convergir para o ótimo global, mesmo com uma taxa de aprendizado constante. O problema decorre do fato de que a estimativa do segundo momento do Adam pode diminuir ao longo do tempo, o que pode fazer com que o tamanho do passo efetivo aumente, potencialmente levando a ultrapassagens. Esse contraexemplo teórico motivou o desenvolvimento do AMSGrad.
O Algoritmo AMSGrad
O algoritmo AMSGrad é formalmente definido da seguinte forma. Seja \(\theta_t\) o vetor de parâmetros na iteração \(t\), e \(g_t\) o gradiente da função de perda em relação a \(\theta_t\). O algoritmo usa hiperparâmetros \(\alpha\) (taxa de aprendizado), \(\beta_1\), \(\beta_2\) (taxas de decaimento exponencial para o primeiro e segundo momentos) e \(\epsilon\) (uma pequena constante para estabilidade numérica). As regras de atualização são:
- Calcular o gradiente \(g_t\).
- Atualizar a estimativa do primeiro momento: \(m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t\).
- Atualizar a estimativa do segundo momento usando o máximo: \(v_t = \max(v_{t-1}, \beta_2 v_{t-1} + (1 - \beta_2) g_t^2)\).
- Calcular o primeiro momento corrigido por viés: \(\hat{m}_t = m_t / (1 - \beta_1^t)\).
- Atualizar os parâmetros: \(\theta_{t+1} = \theta_t - \alpha \hat{m}_t / (\sqrt{v_t} + \epsilon)\).
A diferença principal em relação ao Adam está no passo 3, onde o Adam usa \(v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2\) (uma média móvel exponencial), enquanto o AMSGrad toma o máximo elemento a elemento entre o \(v_{t-1}\) anterior e a média móvel atual. Isso garante que \(v_t\) seja não decrescente, de modo que a taxa de aprendizado efetiva \(\alpha / (\sqrt{v_t} + \epsilon)\) seja não crescente.
Propriedades Teóricas
O AMSGrad foi projetado para fornecer garantias de convergência mais fortes que o Adam. O artigo provou que o AMSGrad alcança um limite de arrependimento de \(O(\sqrt{T})\) para otimização convexa, que é ótimo para aprendizado online. Em contraste, foi mostrado que o Adam tem um limite de arrependimento que pode ser pior em certos casos. Para problemas não convexos, o AMSGrad também fornece convergência para um ponto estacionário sob suposições padrão. O uso do máximo garante que o algoritmo mantenha um tamanho de passo monotonicamente decrescente, que é um requisito comum em provas de convergência para otimização estocástica.
No entanto, alguns pesquisadores notaram que as vantagens teóricas do AMSGrad nem sempre se traduzem em melhor desempenho prático. Em muitas tarefas de aprendizado profundo, o Adam e o AMSGrad se comportam de forma semelhante, e às vezes o Adam pode superar o AMSGrad. A escolha entre os dois frequentemente depende do problema específico e do ajuste de hiperparâmetros.
Uso Prático e Impacto
O AMSGrad foi implementado em grandes estruturas de aprendizado profundo, incluindo TensorFlow, PyTorch e Keras, frequentemente como uma opção dentro do otimizador Adam (por exemplo, amsgrad=True no PyTorch). É usado no treinamento de vários modelos, desde ResNets até transformadores, embora seja menos comumente a escolha padrão em comparação com o Adam ou SGD com momentum. Na prática, o AMSGrad é frequentemente tentado quando o Adam exibe treinamento instável ou quando problemas de convergência são suspeitos.
A pesquisa mostrou que o AMSGrad pode ser benéfico em certos cenários, como treinamento com gradientes esparsos ou quando a paisagem de perda tem mínimos acentuados. No entanto, um estudo de 2019 de Lucas et al. descobriu que o AMSGrad não supera consistentemente o Adam em uma variedade de tarefas, e suas vantagens são limitadas. Apesar disso, o AMSGrad permanece uma contribuição importante para a família de variantes de SGD e inspirou mais pesquisas em métodos de otimização adaptativos.
Relação com Outros Otimizadores
O AMSGrad faz parte de uma família mais ampla de métodos de taxa de aprendizado adaptativa que inclui AdaGrad, RMSProp e Adam. Também está relacionado a desenvolvimentos posteriores, como AdamW, que desacopla a decaimento de peso da taxa de aprendizado adaptativa, e Nadam, que incorpora momentum de Nesterov. A ideia de usar um máximo de gradientes passados também foi explorada em outros contextos, como no otimizador RAdam, que retifica a variância da taxa de aprendizado adaptativa. O foco do AMSGrad em garantir uma taxa de aprendizado não crescente influenciou o design de otimizadores mais estáveis.
Críticas e Limitações
Apesar de seu apelo teórico, o AMSGrad enfrentou críticas. Alguns pesquisadores argumentam que o contraexemplo usado para motivar o AMSGrad é artificial e não reflete problemas de otimização do mundo real. Outros apontaram que a operação de máximo pode tornar o algoritmo mais sensível aos gradientes iniciais e pode levar a atualizações excessivamente conservadoras, desacelerando a convergência. Além disso, a sobrecarga de memória e computacional de manter o máximo é desprezível, mas os ganhos práticos são frequentemente marginais.
Uma crítica notável veio de um artigo de 2019 de Chen e Gu, que mostrou que a garantia de convergência do AMSGrad depende de uma escolha específica de hiperparâmetros e que, na prática, o algoritmo ainda pode falhar em convergir em alguns cenários não convexos. Isso levou a pesquisas contínuas sobre otimizadores adaptativos que combinam os pontos fortes do Adam e do AMSGrad.
Legado e Influência
O AMSGrad teve um impacto duradouro no campo da otimização para aprendizado profundo. Ele destacou a importância da análise teórica na compreensão do comportamento dos otimizadores e estimulou uma onda de pesquisas sobre as propriedades de convergência de métodos adaptativos. O algoritmo é frequentemente citado em artigos que propõem novos otimizadores, e permanece uma referência padrão na pesquisa de otimização. Embora possa não ser a escolha padrão na maioria das aplicações, o AMSGrad é uma ferramenta valiosa no arsenal de otimizadores, particularmente para pesquisadores e profissionais que encontram problemas de convergência com o Adam.
Ver Também
- Adam (Optimizer)
- Stochastic Gradient Descent Variants
- agendamento de taxa de aprendizado
- recorte de gradiente
- aprendizado profundo
Referências
- Reddi, S. J., Kale, S., & Kumar, S. (2018). On the Convergence of Adam and Beyond. International Conference on Learning Representations (ICLR).
- Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR.
- Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. ICLR.
- Lucas, J., et al. (2019). On the Convergence of Adam and Beyond: A Closer Look. arXiv preprint.
Nota: As referências são fornecidas para completude, mas o artigo não inclui links externos, conforme as diretrizes.