Normalização é uma técnica estatística usada para ajustar valores medidos em escalas diferentes a uma escala comum, frequentemente antes de calcular médias ou fazer comparações. Em sua forma mais simples, a normalização redimensiona os dados, enquanto ajustes mais sofisticados visam alinhar distribuições de probabilidade inteiras. O termo aparece em áreas como avaliação educacional, onde distribuições de pontuação podem ser alinhadas a uma distribuição normal, e em aprendizado de máquina, onde ajuda a estabilizar e acelerar o treinamento de modelos.
Em estatística, estruturas de normalização incluem escores padronizados (ou escores Z), que deslocam e redimensionam os dados para ter média zero e desvio padrão um. Esses valores normalizados permitem comparações entre conjuntos de dados ao remover efeitos de localização e dispersão. Algumas normalizações, como percentis, alinham quantis entre distribuições. Essas razões exigem que as medições estejam em uma escala de razão, o que significa que razões entre medições são significativas.
História
O conceito de normalização surgiu junto com o estudo da distribuição normal por matemáticos como Abraham De Moivre, Pierre-Simon Laplace e Carl Friedrich Gauss, entre os séculos XVIII e XIX. A padronização para uma distribuição normal padrão (média zero, desvio padrão um) passou a ser conhecida como normalização.
O escore Z, definido como a diferença entre um valor amostral e a média populacional dividida pelo desvio padrão populacional, foi formalizado por estatísticos como Karl Pearson e Ronald Fisher no início do século XX. Seu trabalho sobre inferência estatística e teste de hipóteses popularizou essa abordagem.
William Sealy Gosset, enquanto trabalhava na Cervejaria Guinness, abordou a aproximação para pequenas amostras - um ajuste à distribuição normal para conjuntos de dados pequenos que pareciam mais altos e mais estreitos. Publicando sob o pseudônimo "Student" em 1908, seu trabalho tornou-se a distribuição t de Student, posteriormente expandida por Fisher. Essa foi uma técnica inicial de normalização para tamanhos de amostra pequenos.
Escalonamento de Atributos e Normalização por Lotes
Com o aumento da estatística multivariada e dos computadores em meados do século XX, surgiram métodos para normalizar conjuntos de dados maiores com unidades diferentes, como o escalonamento min-máx e o escalonamento robusto. Essas técnicas, conhecidas coletivamente como escalonamento de atributos, tornaram-se importantes em áreas como reconhecimento de padrões e redes neurais no final do século XX.
Em 2015, Sergey Ioffe e Christian Szegedy propuseram a normalização por lotes, uma técnica projetada para estabilizar e acelerar o treinamento de redes neurais profundas. Esse método normaliza as entradas de uma camada dentro de uma rede durante o treinamento, permitindo taxas de aprendizado mais altas e sensibilidade reduzida à inicialização, e tornou-se um componente padrão em muitas arquiteturas de aprendizado profundo.
Tipos de Normalização
Existem vários tipos comuns de normalização, cada um com características distintas:
- Escore Z (escore padrão): Redimensiona com base na média e no desvio padrão, resultando em uma quantidade adimensional que indica quantos desvios padrão um valor está da média.
- Escalonamento Min-Máx: Redimensiona os dados para um intervalo fixo, tipicamente [0, 1], subtraindo o mínimo e dividindo pelo intervalo. É sensível a valores atípicos.
- Escalonamento Robusto: Usa a mediana e o intervalo interquartil, tornando-o menos sensível a valores atípicos do que a estimativa de escalonamento min-máx.
- Normalização por Percentil: Atribui a cada valor seu posto percentil, alinhando a distribuição de zero a 100. É comum em testes padronizados.
- Normalização por Quantil: Alinha os quantis de diferentes distribuições, garantindo que as propriedades estatísticas de vários conjuntos de dados sejam semelhantes.
Esses métodos são adimensionais, ou seja, invariantes a escala (sem unidades) na maioria dos casos, embora algumas razões, como variância-média (σ²/μ), tenham unidades e não sejam invariantes a escala.
Aplicações em Aprendizado de Máquina
A normalização é prática para treinar modelos de inteligência artificial. O escalonamento de atributos garante que variáveis de entrada com unidades diferentes (por exemplo, altura em centímetros e peso em quilogramas) contribuam igualmente para o modelo, evitando que variáveis com magnitudes maiores dominem cálculos de distância ou atualizações de gradiente. No treinamento de redes neurais, entradas normalizadas reduzem o risco de gradientes que desaparecem ou explodem, permitindo convergência estável.
O conceito se estende além das entradas brutas; a normalização por lotes opera dentro da rede, normalizando as ativações de cada camada. Isso ajuda na padronização e em redes profundas, e foi amplamente adotado em sistemas modernos de modelos de linguagem de grande escala e visão computacional.
Considerações e Conceitos Relacionados
O uso de normalização é distinto de situações em que os dados são naturalmente limitados; a supernormalização pode reduzir diferenças relativas. Na prática de aprendizado de máquina, estudiosos frequentemente enfatizam que o escalonamento de atributos deve ser aplicado após a divisão dos dados para evitar vazamento de dados, e que certos algoritmos (por exemplo, métodos baseados em árvores) são invariantes a transformações monotônicas, tornando o escalonamento menos necessário.
A normalização também se relaciona à noção mais ampla de quantidade pivotal na estatística teórica. Uma quantidade pivotal é uma função cuja distribuição amostral não depende dos parâmetros dos valores observados, e quando pode ser calculada sem incógnitas, é chamada de estatística ancilar. A padronização frequentemente leva a tais quantidades pivotais, que são usadas em testes de hipóteses e construção de intervalos de confiança.