A normalização por lotes (também conhecida como batch norm) é uma técnica de normalização usada em redes neurais artificiais para tornar o treinamento mais rápido e estável, ajustando as entradas de cada camada, recentralizando-as em torno de zero e reescalonando-as para um tamanho padrão. Foi introduzida por Sergey Ioffe e Christian Szegedy em 2015. O método tornou-se um componente padrão em muitas arquiteturas de aprendizado profundo, particularmente em redes convolucionais e totalmente conectadas, e é amplamente utilizado em sistemas modernos de aprendizado de máquina, incluindo aqueles que alimentam modelos de linguagem de grande escala e outras aplicações de IA generativa.
A ideia central é normalizar as ativações de cada camada sobre um mini-lote de dados de treinamento, calculando a média e a variância para cada dimensão e, em seguida, deslocando e escalonando os valores. Esse procedimento reduz a sensibilidade da rede à inicialização e às escolhas de hiperparâmetros, permitindo que os profissionais usem taxas de aprendizado mais altas e, muitas vezes, reduzindo a necessidade de outras técnicas de regularização, como o dropout. Apesar de sua adoção generalizada, as razões exatas para sua eficácia permanecem um tópico de pesquisa e debate ativos.
Contexto Histórico
A normalização por lotes surgiu de esforços para enfrentar os desafios de treinar redes neurais muito profundas. No início dos anos 2010, pesquisadores do Google DeepMind, da OpenAI e de outros laboratórios exploravam maneiras de melhorar a velocidade de convergência e a estabilidade. O artigo de 2015 de Ioffe e Szegedy, ambos então no Google, propôs uma solução prática que poderia ser integrada aos pipelines de treinamento existentes com sobrecarga mínima. A técnica rapidamente ganhou tração e tornou-se uma escolha padrão em muitos frameworks, incluindo TensorFlow e PyTorch.
Antes da normalização por lotes, o treinamento de redes profundas frequentemente exigia ajuste cuidadoso das taxas de aprendizado, esquemas de inicialização de pesos e funções de ativação para evitar problemas como gradientes que desaparecem ou explodem. A normalização por lotes forneceu uma abordagem mais sistemática, e seu sucesso inspirou uma família de técnicas de normalização relacionadas, como a normalização por camadas e a normalização por instâncias, que são usadas em diferentes contextos.
Deslocamento Covariável Interno
Cada camada em uma rede neural tem entradas que seguem uma distribuição específica, que muda durante o treinamento devido a dois fatores principais: os valores iniciais aleatórios dos parâmetros da rede (inicialização de parâmetros) e a variação natural nos dados de entrada. Esse padrão de mudança que afeta as entradas das camadas internas da rede é chamado de deslocamento covariável interno. Embora uma definição estrita não seja totalmente acordada, experimentos mostram que envolve mudanças nas médias e variâncias dessas entradas durante o treinamento.
A normalização por lotes foi desenvolvida inicialmente para lidar com o deslocamento covariável interno. Durante o treinamento, à medida que os parâmetros das camadas anteriores se ajustam, a distribuição das entradas para a camada atual muda de acordo, de modo que a camada atual precisa se reajustar constantemente a novas distribuições. Esse problema é particularmente grave em redes profundas, porque pequenas mudanças em camadas ocultas mais rasas são amplificadas à medida que se propagam pela rede, resultando em mudanças significativas nas camadas ocultas mais profundas. A normalização por lotes foi proposta para reduzir esses deslocamentos indesejados, acelerando o treinamento e produzindo modelos mais confiáveis.
Além de possivelmente lidar com o deslocamento covariável interno, a normalização por lotes oferece várias vantagens adicionais. Ela permite que a rede use uma taxa de aprendizado mais alta, uma configuração que controla a rapidez com que a rede aprende, sem causar problemas como gradientes que desaparecem ou explodem, onde as atualizações se tornam muito pequenas ou muito grandes. Ela também parece ter um efeito regularizador, melhorando a capacidade da rede de generalizar para novos dados, reduzindo a necessidade de dropout, uma técnica usada para prevenir o overfitting (quando um modelo aprende os dados de treinamento muito bem e falha em novos dados). Além disso, redes que usam normalização por lotes são menos sensíveis à escolha das configurações iniciais ou das taxas de aprendizado, tornando-as mais robustas e adaptáveis.
Procedimento
Transformação
Em uma rede neural, a normalização por lotes é alcançada por meio de uma etapa de normalização que fixa as médias e variâncias das entradas de cada camada. Idealmente, a normalização seria conduzida sobre todo o conjunto de treinamento, mas para usar essa etapa em conjunto com métodos de otimização estocástica, é impraticável usar a informação global. Assim, a normalização é restrita a cada mini-lote no processo de treinamento.
Seja \(B\) um mini-lote de tamanho \(m\) do conjunto de treinamento inteiro. A média e a variância empíricas de \(B\) são calculadas como:
\[
\mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i
\]
e
\[
\sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2
\]
Para uma camada com uma entrada \(d\)-dimensional \(x = (x^{(1)}, \ldots, x^{(d)})\), cada dimensão é normalizada separadamente. Para cada dimensão \(k\) e cada amostra \(i\) no mini-lote, o valor normalizado é:
\[
\hat{x}_i^{(k)} = \frac{x_i^{(k)} - \mu_B^{(k)}}{\sqrt{(\sigma_B^{(k)})^2 + \epsilon}}
\]
onde \(\epsilon\) é uma pequena constante adicionada para estabilidade numérica, tipicamente na ordem de \(10^{-5}\). Isso garante que as ativações normalizadas tenham média zero e variância unitária.
Escalonamento e Deslocamento
Simplesmente normalizar as entradas pode restringir a capacidade representacional da camada, então a normalização por lotes introduz dois parâmetros aprendíveis por dimensão: um fator de escala \(\gamma^{(k)}\) e um deslocamento \(\beta^{(k)}\). A saída final da camada de normalização por lotes é:
\[
y_i^{(k)} = \gamma^{(k)} \hat{x}_i^{(k)} + \beta^{(k)}
\]
Esses parâmetros são aprendidos durante o treinamento por meio de retropropagação, permitindo que a rede desfaça a normalização se isso for ótimo para a tarefa. Na prática, \(\gamma\) é frequentemente inicializado em 1 e \(\beta\) em 0, de modo que a camada inicialmente realiza a normalização padrão e depois se adapta.
Inferência
Durante o treinamento, a média e a variância são calculadas a partir do mini-lote atual. No entanto, no momento da inferência (ao fazer previsões em novos dados), o mini-lote pode ter tamanho 1 ou pode não estar disponível. Para lidar com isso, a rede usa médias móveis da média e da variância calculadas durante o treinamento. Essas estatísticas móveis são atualizadas com cada mini-lote, tipicamente usando uma média móvel com um fator de momentum (frequentemente 0,99). Na inferência, a normalização usa essas estatísticas fixas, tornando a operação determinística e independente do tamanho do lote.
Explicações Teóricas
Especialistas ainda debatem por que a normalização por lotes funciona tão bem. Inicialmente, pensava-se que ela lidava com o deslocamento covariável interno, um problema onde a inicialização de parâmetros e mudanças na distribuição das entradas de cada camada afetam a taxa de aprendizado da rede. No entanto, pesquisas mais recentes sugerem que ela não corrige esse deslocamento, mas sim suaviza a função objetivo, um guia matemático que a rede segue para melhorar, aprimorando o desempenho. Em redes muito profundas, a normalização por lotes pode inicialmente causar uma explosão de gradiente severa, onde as atualizações da rede crescem incontrolavelmente, mas isso é gerenciado com atalhos chamados conexões de salto em redes residuais. Outra teoria é que a normalização por lotes ajusta os dados lidando com seu tamanho e caminho separadamente, acelerando o treinamento.
Pesquisas de Aleksander Madry e outros mostraram que a normalização por lotes torna a paisagem de otimização significativamente mais suave, reduzindo a constante de Lipschitz da função de perda. Esse efeito de suavização permite que a descida do gradiente dê passos maiores sem divergir, o que explica por que taxas de aprendizado mais altas se tornam viáveis. Outros trabalhos apontaram que a normalização por lotes introduz uma forma de regularização implícita ao adicionar ruído ao processo de treinamento, já que as estatísticas do mini-lote variam de lote para lote.
Variantes e Extensões
A normalização por lotes inspirou várias variantes adaptadas a diferentes arquiteturas e configurações. A normalização por camadas, introduzida por jimmy-lei-ba e jamie-kiros em 2016, normaliza através das características para cada amostra individual, em vez de através do lote, tornando-a adequada para redes recorrentes e transformadores. A normalização por instâncias, usada na transferência de estilo, normaliza cada canal para cada amostra. A normalização por grupos, proposta por yuxin-wu e Kaiming He em 2018, divide os canais em grupos e normaliza dentro de cada grupo, tendo bom desempenho com tamanhos de lote pequenos.
No contexto dos modelos transformadores, que sustentam muitos modelos de linguagem de grande escala, a normalização por camadas é mais comum do que a normalização por lotes, mas a normalização por lotes ainda é usada em redes convolucionais para tarefas como classificação de imagens e detecção de objetos. Algumas abordagens híbridas, como a normalização comutável, aprendem a combinar diferentes métodos de normalização dinamicamente.
Considerações Práticas
A implementação da normalização por lotes requer atenção cuidadosa às fases de treinamento e inferência. Durante o treinamento, o tamanho do lote deve ser suficientemente grande para fornecer estimativas confiáveis da média e da variância; lotes pequenos podem levar a estatísticas ruidosas e treinamento instável. No treinamento distribuído, onde o tamanho global do lote é dividido entre vários dispositivos, a média e a variância são tipicamente calculadas por dispositivo, o que pode causar inconsistências. Técnicas como a normalização por lotes sincronizada, que agrega estatísticas entre dispositivos, foram desenvolvidas para lidar com isso.
A normalização por lotes também interage com outros componentes da rede. Por exemplo, ela é frequentemente colocada após a transformação linear, mas antes da função de ativação, embora a posição exata possa variar. Em redes residuais, a normalização por lotes é aplicada antes da adição da conexão de salto, o que ajuda a mitigar a explosão de gradiente mencionada anteriormente.
Impacto e Legado
A introdução da normalização por lotes teve um impacto profundo no campo da inteligência artificial. Ela permitiu o treinamento de redes muito mais profundas, como a ResNet de 152 camadas, que venceu a competição ImageNet em 2015. Ela também tornou o ajuste de hiperparâmetros menos oneroso, acelerando a experimentação tanto na academia quanto na indústria. Hoje, a normalização por lotes permanece uma ferramenta fundamental na caixa de ferramentas do aprendizado profundo, e seus princípios influenciaram o design de muitas técnicas de normalização subsequentes. Apesar dos debates contínuos sobre seus fundamentos teóricos, seus benefícios práticos são indiscutíveis, e ela continua sendo um componente-chave em muitos modelos de ponta.