La normalisation est une technique statistique utilisée pour ajuster des valeurs mesurées sur différentes échelles afin de les ramener à une échelle commune, souvent avant de faire une moyenne ou une comparaison. Dans sa forme la plus simple, la normalisation redimensionne les données, tandis que des ajustements plus sophistiqués visent à aligner des distributions de probabilité entières. Le terme apparaît dans des domaines tels que l'évaluation pédagogique, où les distributions de scores peuvent être alignées sur une distribution normale, et dans le apprentissage automatique, où il aide à stabiliser et à accélérer l'entraînement des modèles.
En statistique, les cadres de normalisation incluent les scores standard (ou Z-scores), qui décalent et redimensionnent les données pour obtenir une moyenne de zéro et un écart type de un. Ces valeurs normalisées permettent des comparaisons entre ensembles de données en éliminant les effets de position et de dispersion. Certaines normalisations, comme les percentiles, alignent les quantiles entre distributions. Ces ratios exigent que les mesures soient sur une échelle de rapport, ce qui signifie que les rapports entre mesures sont significatifs.
Histoire
Le concept de normalisation est apparu parallèlement à l'étude de la distribution normale par des mathématiciens tels qu'Abraham De Moivre, Pierre-Simon Laplace et Carl Friedrich Gauss, du XVIIIe au XIXe siècle. La standardisation vers une distribution normale standard (moyenne zéro, écart type un) est devenue connue sous le nom de normalisation.
Le Z-score, défini comme la différence entre une valeur d'échantillon et la moyenne de la population divisée par l'écart type de la population, a été formalisé par des statisticiens comme Karl Pearson et Ronald Fisher au début du XXe siècle. Leurs travaux sur l'inférence statistique et les tests d'hypothèses ont popularisé cette approche.
William Sealy Gosset, travaillant à la brasserie Guinness, a abordé l'approximation pour petits échantillons - un ajustement de la distribution normale pour les petits ensembles de données qui apparaissaient à la fois plus hauts et plus étroits. Publiant sous le pseudonyme « Student » en 1908, ses travaux sont devenus la distribution t de Student, développée plus tard par Fisher. C'était une technique de normalisation précoce pour les petits échantillons.
Mise à l'échelle des caractéristiques et normalisation par lots
Avec l'essor des statistiques multivariées et des ordinateurs au milieu du XXe siècle, des méthodes de normalisation de grands ensembles de données avec des unités différentes ont émergé, comme la mise à l'échelle min-max et la mise à l'échelle robuste. Ces techniques, connues collectivement sous le nom de mise à l'échelle des caractéristiques, sont devenues importantes dans des domaines comme la reconnaissance de formes et les réseaux neuronaux à la fin du XXe siècle.
En 2015, Sergey Ioffe et Christian Szegedy ont proposé la normalisation par lots, une technique conçue pour stabiliser et accélérer l'entraînement des réseaux neuronaux profonds. Cette méthode normalise les entrées d'une couche au sein d'un réseau pendant l'entraînement, permettant des taux d'apprentissage plus élevés et une sensibilité réduite à l'initialisation, et est devenue un composant standard dans de nombreuses architectures de apprentissage profond.
Types de normalisation
Plusieurs types courants de normalisation existent, chacun avec des caractéristiques distinctes :
- Z-score (score standard) : Redimensionne en fonction de la moyenne et de l'écart type, résultant en une quantité sans dimension qui indique de combien d'écarts types une valeur s'écarte de la moyenne.
- Mise à l'échelle min-max : Redimensionne les données sur une plage fixe, généralement [0, 1], en soustrayant le minimum et en divisant par l'étendue. Elle est sensible aux valeurs aberrantes.
- Mise à l'échelle robuste : Utilise la médiane et l'intervalle interquartile, ce qui la rend moins sensible aux valeurs aberrantes que l'estimation par mise à l'échelle min-max.
- Normalisation par percentile : Attribue à chaque valeur son rang percentile, alignant la distribution de zéro à 100. C'est courant dans les tests standardisés.
- Normalisation par quantiles : Aligne les quantiles de différentes distributions, garantissant que les propriétés statistiques de plusieurs ensembles de données sont similaires.
Ces méthodes sont sans dimension, c'est-à-dire invariantes à l'échelle (sans unités) dans la plupart des cas, bien que certains ratios comme la variance-moyenne (σ²/μ) aient des unités et ne soient pas invariants à l'échelle.
Applications en apprentissage automatique
La normalisation est pratique pour entraîner des modèles d'intelligence artificielle. La mise à l'échelle des caractéristiques garantit que les variables d'entrée avec des unités différentes (par exemple, la taille en centimètres et le poids en kilogrammes) contribuent de manière égale au modèle, empêchant les variables à grande échelle de dominer les calculs de distance ou les mises à jour de gradient. Dans l'entraînement des réseaux neuronaux, des entrées normalisées réduisent le risque de gradients explosifs ou disparaissants, permettant une convergence stable.
Le concept s'étend au-delà des entrées brutes ; la normalisation par lots opère à l'intérieur du réseau, normalisant les activations de chaque couche. Cela aide à la standardisation et aux réseaux profonds, et a été largement adopté dans les systèmes modernes de grands modèles de langage et de vision par ordinateur.
Considérations et concepts connexes
L'utilisation de la normalisation est distincte des cas où les données sont naturellement bornées ; une sur-normalisation peut réduire les différences relatives. Dans la pratique du apprentissage automatique, les chercheurs soulignent souvent que la mise à l'échelle des caractéristiques doit être appliquée après la division des données pour éviter les fuites de données, et que certains algorithmes (par exemple, les méthodes basées sur les arbres) sont invariants aux transformations monotones, rendant la mise à l'échelle moins nécessaire.
La normalisation est également liée à la notion plus large de quantité pivotale en statistique théorique. Une quantité pivotale est une fonction dont la distribution d'échantillonnage ne dépend pas des paramètres dont vous observez les valeurs, et lorsqu'elle peut être calculée sans inconnues, c'est une statistique accessoire. La standardisation conduit souvent à de telles quantités pivotales, qui sont utilisées dans les tests d'hypothèses.