Normalisierung

Normalisierung ist eine statistische Technik, die verwendet wird, um Werte, die auf verschiedenen Skalen gemessen wurden, auf eine gemeinsame Skala zu bringen, häufig vor einer Mittelung oder einem Vergleich. In ihrer einfachsten Form skaliert die Normalisierung Daten neu, während ausgefeiltere Anpassungen darauf abzielen, ganze Wahrscheinlichkeitsverteilungen anzugleichen. Der Begriff taucht in Bereichen wie der Bildungsbewertung auf, wo Score-Verteilungen an eine Normalverteilung angeglichen werden können, sowie im Machine learning, wo er hilft, das Training von Modellen zu stabilisieren und zu beschleunigen.

In der Statistik umfassen Normalisierungsrahmen Standardwerte (oder Z-Scores), die Daten so verschieben und skalieren, dass sie einen Mittelwert von Null und eine Standardabweichung von Eins haben. Diese normalisierten Werte ermöglichen Vergleiche zwischen Datensätzen, indem sie die Effekte von Lage und Streuung entfernen. Einige Normalisierungen, wie Perzentile, gleichen Quantile über Verteilungen hinweg an. Diese Verhältnisse erfordern, dass Messungen auf einer Verhältnisskala vorliegen, was bedeutet, dass Verhältnisse von Messungen aussagekräftig sind.

Geschichte

Das Konzept der Normalisierung entstand parallel zur Untersuchung der Normalverteilung durch Mathematiker wie Abraham De Moivre, Pierre-Simon Laplace und Carl Friedrich Gauss im 18. bis 19. Jahrhundert. Die Standardisierung auf eine Standardnormalverteilung (Mittelwert Null, Standardabweichung Eins) wurde als Normalisierung bekannt.

Der Z-Score, definiert als die Differenz zwischen einem Stichprobenwert und dem Populationsmittelwert geteilt durch die Populationsstandardabweichung, wurde von Statistikern wie Karl Pearson und Ronald Fisher im frühen 20. Jahrhundert formalisiert. Ihre Arbeiten zur statistischen Inferenz und zum Testen von Hypothesen machten diesen Ansatz populär.

William Sealy Gosset befasste sich während seiner Arbeit bei der Guinness-Brauerei mit der Klein-Stichproben-Approximation - einer Anpassung der Normalverteilung für kleine Datensätze, die sowohl höher als auch schmaler erschien. Seine Arbeit, die er 1908 unter dem Pseudonym "Student" veröffentlichte, wurde zur Student's t-Verteilung, die später von Fisher erweitert wurde. Dies war eine frühe Normalisierungstechnik für kleine Stichprobengrößen.

Feature-Skalierung und Batch-Normalisierung

Mit dem Aufkommen der multivariaten Statistik und der Computer in der Mitte des 20. Jahrhunderts entstanden Methoden zur Normalisierung größerer Datensätze mit unterschiedlichen Einheiten, wie Min-Max-Skalierung und robuste Skalierung. Diese Techniken, die zusammen als Feature-Skalierung bekannt sind, wurden in Bereichen wie Mustererkennung und neuronale Netze im späten 20. Jahrhundert wichtig.

Im Jahr 2015 schlugen Sergey Ioffe und Christian Szegedy die Batch-Normalisierung vor, eine Technik, die darauf abzielt, das Training tiefer neuronaler Netze zu stabilisieren und zu beschleunigen. Diese Methode normalisiert die Eingaben einer Schicht innerhalb eines Netzwerks während des Trainings, was höhere Lernraten und eine geringere Empfindlichkeit gegenüber der Initialisierung ermöglicht, und ist zu einem Standardbestandteil vieler Deep learning-Architekturen geworden.

Arten der Normalisierung

Es existieren mehrere gängige Arten der Normalisierung, jede mit unterschiedlichen Eigenschaften:

• Z-Score (Standardwert): Skaliert basierend auf Mittelwert und Standardabweichung neu, was zu einer dimensionslosen Größe führt, die angibt, wie viele Standardabweichungen ein Wert vom Mittelwert entfernt ist.
• Min-Max-Skalierung: Skaliert Daten auf einen festen Bereich, typischerweise [0, 1], neu, indem das Minimum subtrahiert und durch die Spannweite geteilt wird. Dies ist empfindlich gegenüber Ausreißern.
• Robuste Skalierung: Verwendet Median und Interquartilsabstand, was sie weniger empfindlich gegenüber Ausreißern macht als die Min-Max-Skalierungsschätzung.
• Perzentil-Normalisierung: Weist jedem Wert seinen Perzentilrang zu und gleicht die Verteilung von Null bis 100 an. Dies ist bei standardisierten Tests üblich.
• Quantil-Normalisierung: Gleicht Quantile verschiedener Verteilungen an, um sicherzustellen, dass die statistischen Eigenschaften mehrerer Datensätze ähnlich sind.

Diese Methoden sind dimensionslos, was bedeutet, dass sie in den meisten Fällen skalierungsinvariant (ohne Einheiten) sind, obwohl einige Verhältnisse wie Varianz-zu-Mittelwert (σ²/μ) Einheiten haben und nicht skalierungsinvariant sind.

Anwendungen im maschinellen Lernen

Normalisierung ist praktisch für das Training von Artificial intelligence-Modellen. Die Feature-Skalierung stellt sicher, dass Eingabevariablen mit unterschiedlichen Einheiten (z. B. Körpergröße in Zentimetern und Gewicht in Kilogramm) gleichermaßen zum Modell beitragen, wodurch verhindert wird, dass Variablen mit großen Werten Distanzberechnungen oder Gradientenaktualisierungen dominieren. Beim Training von neuronalen Netzen verringern normalisierte Eingaben das Risiko verschwindender oder explodierender Gradienten, was eine stabile Konvergenz ermöglicht.

Das Konzept geht über rohe Eingaben hinaus; die Batch-Normalisierung arbeitet innerhalb des Netzwerks und normalisiert die Aktivierungen jeder Schicht. Dies hilft bei der Standardisierung und bei tiefen Netzwerken und wurde in modernen großen Sprachmodellen und Computer-Vision-Systemen weitgehend übernommen.

Überlegungen und verwandte Konzepte

Die Verwendung von Normalisierung unterscheidet sich von Fällen, in denen Daten natürlich begrenzt sind; eine Über-Normalisierung kann relative Unterschiede verkleinern. In der Machine learning-Praxis betonen Wissenschaftler oft, dass die Feature-Skalierung nach der Aufteilung der Daten angewendet werden sollte, um Datenleckagen zu vermeiden, und dass bestimmte Algorithmen (z. B. baumbasierte Methoden) invariant gegenüber monotonen Transformationen sind, was die Skalierung weniger notwendig macht.

Normalisierung bezieht sich auch auf das breitere Konzept einer Pivot-Größe in der theoretischen Statistik. Eine Pivot-Größe ist eine Funktion, deren Stichprobenverteilung nicht von den Parametern abhängt, deren Werte Sie beobachten, und wenn sie ohne Unbekannte berechnet werden kann, ist sie eine Hilfsstatistik. Die Standardisierung führt oft zu solchen Pivot-Größen, die beim Testen von Hypothesen verwendet werden.