O gradiente descendente é um algoritmo de otimização iterativo usado para minimizar uma função de perda ajustando repetidamente os parâmetros de um modelo na direção oposta ao gradiente, o vetor de derivadas parciais que aponta para o aumento mais acentuado na perda. É o mecanismo fundamental pelo qual a maioria dos sistemas modernos de aprendizado de máquina e aprendizado profundo aprende a partir de dados, sustentando o treinamento de tudo, desde regressões lineares simples até modelos com centenas de bilhões de parâmetros.
História
O método precede a computação: o matemático francês Augustin-Louis Cauchy descreveu uma versão da minimização baseada em gradiente em 1847. Sua forma estatística, a aproximação estocástica, foi formalizada por Herbert Robbins e Sutton Monro em 1951. O gradiente descendente tornou-se central para a IA quando foi combinado com retropropagação na década de 1980 como a forma padrão de calcular gradientes de maneira eficiente através de redes neurais multicamadas, e sua dominância prática cresceu junto com a disponibilidade de grandes conjuntos de dados e hardware GPU capaz de executar os muitos passos de atualização pequenos que o método exige.
Variantes
O gradiente descendente em lote calcula o gradiente sobre um conjunto de dados inteiro antes de cada atualização, o que é preciso, mas lento e intensivo em memória para grandes conjuntos de dados. O gradiente descendente estocástico (SGD) atualiza os parâmetros usando um exemplo, ou mais comumente um pequeno "mini-lote", por vez, trocando alguma precisão por passo por atualizações muito mais frequentes e melhor escalabilidade. Métodos de momento acumulam uma média móvel de gradientes passados para suavizar atualizações ruidosas e acelerar a convergência em direções consistentes. Métodos adaptativos, mais notavelmente o Adam, introduzido por Diederik Kingma e Jimmy Ba em 2014, mantêm taxas de aprendizado por parâmetro com base em estimativas dos primeiros e segundos momentos do gradiente, e o Adam ou suas variantes são o otimizador padrão para treinar quase todos os modelos de linguagem de grande escala contemporâneos.
Considerações práticas
A taxa de aprendizado, que escala o tamanho de cada passo de atualização, é o hiperparâmetro mais consequente no gradiente descendente: muito alta e o treinamento diverge ou oscila, muito baixa e o treinamento é impraticavelmente lento ou fica preso em regiões pobres da paisagem de perda. Execuções de treinamento modernas tipicamente usam um cronograma de taxa de aprendizado que aquece gradualmente e depois decai ao longo do treinamento. Como as superfícies de perda de redes profundas são extremamente de alta dimensão e não convexas, o gradiente descendente na prática não encontra um mínimo global verdadeiro; em vez disso, ele depende da observação empírica de que muitos mínimos locais encontrados pelo gradiente descendente em redes superparametrizadas generalizam bem, um fenômeno ainda não totalmente explicado teoricamente. O gradiente descendente também é vulnerável a problemas como gradientes que desaparecem e explodem em arquiteturas muito profundas ou recorrentes, o que motivou inovações como os mecanismos de portão do LSTM e, mais tarde, as conexões residuais usadas em todas as arquiteturas transformer.
Relação com outros conceitos
O gradiente descendente é o que minimiza a função de perda de uma rede, mas não é por si só suficiente para produzir um modelo útil: sem técnicas como regularização, o gradiente descendente levará alegremente a perda de treinamento a zero memorizando o conjunto de treinamento, um modo de falha conhecido como superajuste. Em aprendizado por reforço, métodos baseados em gradiente são adaptados para otimizar a recompensa esperada de um agente em vez de uma perda rotulada fixa, formando a base dos algoritmos de gradiente de política usados em sistemas como aqueles treinados com RLHF.