Batch normalization (auch bekannt als Batch-Norm) ist eine Normalisierungstechnik, die in künstlichen neuronalen Netzen verwendet wird, um das Training schneller und stabiler zu machen, indem die Eingaben jeder Schicht angepasst werden, sie um Null neu zentriert und auf eine Standardgröße neu skaliert werden. Sie wurde von Sergey Ioffe und Christian Szegedy im Jahr 2015 eingeführt. Die Methode ist zu einem Standardbestandteil vieler Deep-Learning-Architekturen geworden, insbesondere in convolutional und vollständig verbundenen Netzen, und wird häufig in modernen Machine-Learning-Systemen verwendet, einschließlich solcher, die Large-Language-Modelle und andere generative KI-Anwendungen unterstützen.
Die Kernidee besteht darin, die Aktivierungen jeder Schicht über einen Mini-Batch von Trainingsdaten zu normalisieren, wobei der Mittelwert und die Varianz für jede Dimension berechnet und die Werte dann verschoben und skaliert werden. Dieses Verfahren verringert die Empfindlichkeit des Netzes gegenüber Initialisierung und Hyperparameter-Wahl, sodass Praktiker höhere Lernraten verwenden können und oft die Notwendigkeit anderer Regularisierungstechniken wie Dropout reduzieren. Trotz seiner weiten Verbreitung bleiben die genauen Gründe für seine Wirksamkeit ein Thema aktiver Forschung und Debatte.
Historischer Kontext
Batch normalization entstand aus Bemühungen, die Herausforderungen beim Training sehr tiefer neuronaler Netze zu bewältigen. In den frühen 2010er-Jahren erforschten Forscher bei Google DeepMind, OpenAI und anderen Labors Wege, um Konvergenzgeschwindigkeit und Stabilität zu verbessern. Das Paper von 2015 durch Ioffe und Szegedy, beide damals bei Google, schlug eine praktische Lösung vor, die in bestehende Trainingspipelines mit minimalem Aufwand integriert werden konnte. Die Technik gewann schnell an Bedeutung und wurde eine Standardwahl in vielen Frameworks, einschließlich TensorFlow und PyTorch.
Vor Batch normalization erforderte das Training tiefer Netze oft eine sorgfältige Abstimmung von Lernraten, Gewichtsinitialisierungsschemata und Aktivierungsfunktionen, um Probleme wie verschwindende oder explodierende Gradienten zu vermeiden. Batch normalization bot einen systematischeren Ansatz, und sein Erfolg inspirierte eine Familie verwandter Normalisierungstechniken, wie Layer normalization und Instance normalization, die in verschiedenen Kontexten verwendet werden.
Interne Kovariatenverschiebung
Jede Schicht in einem neuronalen Netz hat Eingaben, die einer spezifischen Verteilung folgen, die sich während des Trainings aufgrund zweier Hauptfaktoren verschiebt: der zufälligen Startwerte der Netzwerkparameter (Parameterinitialisierung) und der natürlichen Variation in den Eingabedaten. Dieses Verschiebungsmuster, das die Eingaben der inneren Schichten des Netzes beeinflusst, wird als interne Kovariatenverschiebung bezeichnet. Obwohl eine strenge Definition nicht vollständig geklärt ist, zeigen Experimente, dass es Veränderungen in den Mittelwerten und Varianzen dieser Eingaben während des Trainings beinhaltet.
Batch normalization wurde ursprünglich entwickelt, um die interne Kovariatenverschiebung zu adressieren. Während des Trainings, wenn sich die Parameter der vorhergehenden Schichten anpassen, ändert sich die Verteilung der Eingaben zur aktuellen Schicht entsprechend, sodass die aktuelle Schicht sich ständig an neue Verteilungen anpassen muss. Dieses Problem ist besonders schwerwiegend in tiefen Netzen, weil kleine Änderungen in flacheren verborgenen Schichten verstärkt werden, wenn sie sich innerhalb des Netzes ausbreiten, was zu einer erheblichen Verschiebung in tieferen verborgenen Schichten führt. Batch normalization wurde vorgeschlagen, um diese unerwünschten Verschiebungen zu reduzieren, das Training zu beschleunigen und zuverlässigere Modelle zu erzeugen.
Über die mögliche Bewältigung der internen Kovariatenverschiebung hinaus bietet Batch normalization mehrere zusätzliche Vorteile. Es ermöglicht dem Netz, eine höhere Lernrate zu verwenden, eine Einstellung, die steuert, wie schnell das Netz lernt, ohne Probleme wie verschwindende oder explodierende Gradienten zu verursachen, bei denen Aktualisierungen zu klein oder zu groß werden. Es scheint auch einen regularisierenden Effekt zu haben, der die Fähigkeit des Netzes verbessert, auf neue Daten zu generalisieren, und die Notwendigkeit von Dropout reduziert, einer Technik zur Verhinderung von Überanpassung(wenn ein Modell die Trainingsdaten zu gut lernt und bei neuen Daten versagt). Darüber hinaus sind Netze, die Batch normalization verwenden, weniger empfindlich gegenüber der Wahl der Starteinstellungen oder Lernraten, was sie robuster und anpassungsfähiger macht.
Verfahren
Transformation
In einem neuronalen Netz wird Batch normalization durch einen Normalisierungsschritt erreicht, der die Mittelwerte und Varianzen der Eingaben jeder Schicht festlegt. Idealerweise würde die Normalisierung über den gesamten Trainingssatz durchgeführt, aber um diesen Schritt gemeinsam mit stochastischen Optimierungsmethoden zu verwenden, ist es unpraktisch, die globalen Informationen zu nutzen. Daher ist die Normalisierung auf jeden Mini-Batch im Trainingsprozess beschränkt.
Sei \(B\) ein Mini-Batch der Größe \(m\) aus dem gesamten Trainingssatz. Die empirischen Mittelwerte und Varianzen von \(B\) werden berechnet als:
\[
\mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i
\]
und
\[
\sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2
\]
Für eine Schicht mit einer \(d\)-dimensionalen Eingabe \(x = (x^{(1)}, \ldots, x^{(d)})\), wird jede Dimension separat normalisiert. Für jede Dimension \(k\) und jede Stichprobe \(i\) im Mini-Batch ist der normalisierte Wert:
\[
\hat{x}_i^{(k)} = \frac{x_i^{(k)} - \mu_B^{(k)}}{\sqrt{(\sigma_B^{(k)})^2 + \epsilon}}
\]
wobei \(\epsilon\) eine kleine Konstante ist, die für numerische Stabilität hinzugefügt wird, typischerweise in der Größenordnung von \(10^{-5}\). Dies stellt sicher, dass die normalisierten Aktivierungen einen Mittelwert von Null und eine Varianz von Eins haben.
Skalierung und Verschiebung
Die bloße Normalisierung der Eingaben kann die Repräsentationskapazität der Schicht einschränken, daher führt Batch normalization zwei lernbare Parameter pro Dimension ein: einen Skalierungsfaktor \(\gamma^{(k)}\) und eine Verschiebung \(\beta^{(k)}\). Die endgültige Ausgabe der Batch-Normalization-Schicht ist:
\[
y_i^{(k)} = \gamma^{(k)} \hat{x}_i^{(k)} + \beta^{(k)}
\]
Diese Parameter werden während des Trainings über Backpropagation gelernt, wodurch das Netz die Normalisierung rückgängig machen kann, wenn dies für die Aufgabe optimal ist. In der Praxis wird \(\gamma\) oft mit 1 und \(\beta\) mit 0 initialisiert, sodass die Schicht zunächst eine Standardnormalisierung durchführt und sich dann anpasst.
Inferenz
Während des Trainings werden Mittelwert und Varianz aus dem aktuellen Mini-Batch berechnet. Jedoch, zur Inferenzzeit(wenn Vorhersagen auf neuen Daten getroffen werden, kann der Mini-Batch die Größe 1 haben oder möglicherweise nicht verfügbar sein. Um dies zu handhaben, verwendet das Netz laufende Durchschnittswerte von Mittelwert und Varianz, die während des Trainings berechnet wurden. Diese laufenden Statistiken werden mit jedem Mini-Batch aktualisiert, typischerweise unter Verwendung eines gleitenden Durchschnitts mit einem Momentum-Faktor (oft 0.99). Zur Inferenz verwendet die Normalisierung diese festen Statistiken, was die Operation deterministisch und unabhängig von der Batch-Größe macht.
Theoretische Erklärungen
Experten debattieren noch, warum Batch normalization so gut funktioniert. Es wurde ursprünglich angenommen, dass es die interne Kovariatenverschiebung angeht, ein Problem, bei dem Parameterinitialisierung und Änderungen in der Verteilung der Eingaben jeder Schicht die Lernrate des Netzes beeinflussen. Neuere Forschung legt jedoch nahe, dass es diese Verschiebung nicht behebt, sondern die Zielfunktion glättet, einen mathematischen Leitfaden, dem das Netz zur Verbesserung folgt, was die Leistung steigert. In sehr tiefen Netzen kann Batch normalization anfänglich eine schwere Gradientenexplosion verursachen, bei der Aktualisierungen am Netz unkontrollierbar groß werden, aber dies wird mit Abkürzungen namens Skip-Verbindungen in residualen Netzen verwaltet. Eine andere Theorie besagt, dass Batch normalization Daten anpasst, indem es ihre Größe und ihren Pfad separat behandelt, was das Training beschleunigt.
Forschung von Aleksander Madry und anderen hat gezeigt, dass Batch normalization die Optimierungslandschaft erheblich glättet, wodurch die Lipschitz-Konstante der Verlustfunktion reduziert wird. Dieser Glättungseffekt ermöglicht es dem Gradientenabstieg, größere Schritte zu machen, ohne zu divergieren, was erklärt, warum höhere Lernraten machbar werden. Andere Arbeiten haben darauf hingewiesen, dass Batch normalization eine Form impliziter Regularisierung einführt, indem es dem Trainingsprozess Rauschen hinzufügt, da die Mini-Batch-Statistiken von Batch zu Batch variieren.
Varianten und Erweiterungen
Batch normalization hat mehrere Varianten inspiriert, die auf verschiedene Architekturen und Einstellungen zugeschnitten sind. Layer normalization, eingeführt von jimmy-lei-ba|Jimmy Lei Ba]] und jamie-kiros|Jamie Kiros]] im Jahr 2016, normalisiert über die Merkmale für jede einzelne Stichprobe anstatt über den Batch, was es für rekurrente Netze und Transformatoren geeignet macht. Instance normalization, verwendet im Stiltransfer, normalisiert jeden Kanal für jede Stichprobe. Group normalization, vorgeschlagen von yuxin-wu|Yuxin Wu]] und Kaiming He im Jahr 2018, teilt Kanäle in Gruppen und normalisiert innerhalb jeder Gruppe, und funktioniert gut mit kleinen Batch-Größen.
Im Kontext von Transformer-Modellen, die vielen Large-Language-Modellen zugrunde liegen, ist Layer normalization häufiger als Batch normalization, aber Batch normalization wird weiterhin in convolutional Netzen für Aufgaben wie Bildklassifikation und Objekterkennung verwendet. Einige hybride Ansätze, wie Switchable Normalization, lernen, verschiedene Normalisierungsmethoden dynamisch zu kombinieren.
Praktische Überlegungen
Die Implementierung von Batch normalization erfordert sorgfältige Aufmerksamkeit für die Trainings- und Inferenzphasen. Während des Trainings sollte die Batch-Größe ausreichend groß sein, um zuverlässige Schätzungen von Mittelwert und Varianz zu liefern; kleine Batches können zu verrauschten Statistiken und instabilem Training führen. Im verteilten Training, bei dem die globale Batch-Größe auf mehrere Geräte aufgeteilt wird, werden Mittelwert und Varianz typischerweise pro Gerät berechnet, was zu Inkonsistenzen führen kann. Techniken wie synchronisierte Batch normalization, die Statistiken über Geräte hinweg aggregiert, wurden entwickelt, um dies zu adressieren.
Batch normalization interagiert auch mit anderen Komponenten des Netzes. Zum Beispiel wird es oft nach der linearen Transformation, aber vor der Aktivierungsfunktion platziert, obwohl die genaue Platzierung variieren kann. In residualen Netzen wird Batch normalization angewendet, bevor die Skip-Verbindung hinzugefügt wird, was hilft, die zuvor erwähnte Gradientenexplosion zu mildern.
Auswirkungen und Vermächtnis
Die Einführung von Batch normalization hatte einen tiefgreifenden Einfluss auf das Feld der künstlichen Intelligenz. Es ermöglichte das Training viel tieferer Netze, wie des 152-schichtigen ResNet, das den ImageNet-Wettbewerb im Jahr 2015 gewann. Es machte auch die Hyperparameter-Abstimmung weniger mühsam, was die Experimentation sowohl in der Wissenschaft als auch in der Industrie beschleunigte. Heute bleibt Batch normalization ein grundlegendes Werkzeug im Deep-Learning-Werkzeugkasten, und seine Prinzipien haben das Design vieler nachfolgender Normalisierungstechniken beeinflusst. Trotz anhaltender Debatten über seine theoretischen Grundlagen sind seine praktischen Vorteile unbestritten, und es bleibt eine Schlüsselkomponente in vielen modernen Modellen.