In der maschinellen Lernen ist Hyperparameter-Tuning, auch bekannt als Hyperparameter-Optimierung, das Problem, eine Menge optimaler Hyperparameter für einen Lernalgorithmus auszuwählen. Ein Hyperparameter ist ein Parameter, dessen Wert den Lernprozess steuert und vor Beginn des Trainings konfiguriert werden muss, im Gegensatz zu Modellparametern, die während des Trainings gelernt werden. Das Ziel ist es, die Menge von Hyperparametern zu bestimmen, die ein optimales Modell ergibt, indem eine vordefinierte Verlustfunktion auf einem gegebenen Datensatz minimiert wird. Die Zielfunktion nimmt eine Menge von Hyperparametern und gibt den zugehörigen Verlust zurück, und Kreuzvalidierung wird oft verwendet, um die Generalisierungsleistung zu schätzen und den Auswahlprozess zu leiten.
Hyperparameter-Tuning unterscheidet sich vom Modelltraining. Während das Training interne Gewichte mithilfe von Optimierungsalgorithmen wie SGD-Varianten oder dem Adam-Optimierer anpasst, arbeitet das Tuning auf einer höheren Ebene und legt Werte für Elemente wie den Lernratenplan, die Anzahl der Schichten in einem neuronalen Netzwerk oder die Stärke von Dropout fest. Effektives Tuning ist entscheidend für eine gute Leistung, da schlecht gewählte Hyperparameter zu Unter- oder Überanpassung führen können, unabhängig von der Qualität der Trainingsdaten oder der Raffinesse der Modellarchitektur.
Grid Search
Die traditionelle Methode zur Hyperparameter-Optimierung ist die Rastersuche (Grid Search) oder ein Parametersweep, die erschöpfend eine manuell festgelegte Teilmenge des Hyperparameterraums durchsucht. Ein Rastersuchalgorithmus wird von einer Leistungsmetrik geleitet, die typischerweise durch Kreuzvalidierung auf dem Trainingssatz oder durch Bewertung auf einem zurückgehaltenen Validierungssatz gemessen wird. Da der Parameterraum reellwertige oder unbeschränkte Werte umfassen kann, sind manuelle Grenzen und Diskretisierung oft notwendig.
Zum Beispiel hat eine typische Soft-Margin-Support-Vektor-Maschine mit einem RBF-Kernel mindestens zwei Hyperparameter: eine Regularisierungskonstante C und einen Kernel-Hyperparameter γ. Beide sind kontinuierlich, daher wählt die Rastersuche eine endliche Menge von Werten für jeden, wie C ∈ {10, 100, 1000} und γ ∈ {0.1, 0.2, 0.5, 1.0}. Sie trainiert dann eine SVM mit jedem Paar (C, γ) im kartesischen Produkt und bewertet die Leistung. Die Rastersuche leidet unter dem Fluch der Dimensionalität, ist aber oft peinlich parallel, da die Hyperparametereinstellungen unabhängig sind.
Random Search
Die Zufallssuche (Random Search) ersetzt die erschöpfende Aufzählung durch die zufällige Auswahl von Hyperparameterkombinationen. Sie kann auf diskrete, kontinuierliche und gemischte Räume angewendet werden. Ein Vorteil gegenüber der Rastersuche ist, dass die Zufallssuche viele mehr Werte für kontinuierliche Hyperparameter erkunden kann. Sie kann die Rastersuche übertreffen, insbesondere wenn nur eine kleine Anzahl von Hyperparametern die endgültige Leistung signifikant beeinflusst, eine Situation, die als geringe intrinsische Dimensionalität bekannt ist. Die Zufallssuche ist ebenfalls peinlich parallel und ermöglicht die Einbeziehung von Vorwissen durch die Angabe von Stichprobenverteilungen. Trotz ihrer Einfachheit bleibt sie eine wichtige Basislinie für den Vergleich neuer Hyperparameter-Optimierungsmethoden.
Bayesianische Optimierung
Die Bayesianische Optimierung ist eine globale Optimierungsmethode für verrauschte Black-Box-Funktionen. Angewendet auf das Hyperparameter-Tuning, baut sie ein probabilistisches Modell der Funktion auf, die Hyperparameterwerte auf das auf einem Validierungssatz bewertete Ziel abbildet. Durch die iterative Bewertung vielversprechender Konfigurationen basierend auf dem aktuellen Modell und dessen Aktualisierung zielt die Bayesianische Optimierung darauf ab, Beobachtungen zu sammeln, die Informationen über die Funktion und die Lage ihres Optimums offenbaren. Sie balanciert Exploration (Hyperparameter mit unsicheren Ergebnissen) und Exploitation (Hyperparameter, die in der Nähe des Optimums erwartet werden). In der Praxis erzielt die Bayesianische Optimierung oft bessere Ergebnisse mit weniger Bewertungen als die Rastersuche oder die Zufallssuche, aufgrund ihrer Fähigkeit, die Qualität von Experimenten vor deren Durchführung zu beurteilen.
Gradientenbasierte Optimierung
Für spezifische Lernalgorithmen ist es möglich, den Gradienten in Bezug auf Hyperparameter zu berechnen und sie mithilfe des Gradientenabstiegs zu optimieren. Die erste Verwendung dieser Techniken konzentrierte sich auf neuronale Netzwerke, und Methoden wurden seitdem auf Modelle wie Support-Vektor-Maschinen und logistische Regression erweitert. Ein Ansatz differenziert die Schritte eines iterativen Optimierungsalgorithmus mithilfe automatischer Differenzierung. Neuere Arbeiten verwenden den Satz über implizite Funktionen, um Hypergradienten zu berechnen, und schlagen eine stabile Approximation der inversen Hesse-Matrix vor, die auf Millionen von Hyperparametern mit konstantem Speicher skaliert.
Ein anderer Ansatz trainiert ein Hypernetzwerk, um die beste Antwortfunktion zu approximieren, was diskrete Hyperparameter handhaben kann. Selbstabstimmende Netzwerke bieten eine speichereffiziente Version, indem sie eine kompakte Darstellung für das Hypernetzwerk wählen. Kürzlich verbesserte Δ-STN dies, indem es das Hypernetzwerk umparametrisierte, um das Training zu beschleunigen und eine bessere Approximation des Best-Response-Jacobians zu liefern. Gradientenbasierte Methoden können auch diskrete Hyperparameter optimieren, indem sie eine kontinuierliche Relaxation annehmen, wie sie in der neuronalen Architektursuche umfassend verwendet wird.
Evolutionäre Optimierung
Die evolutionäre Optimierung ist eine Methodik zur globalen Optimierung verrauschter Black-Box-Funktionen, die evolutionäre Algorithmen zur Durchsuchung des Hyperparameterraums verwendet. Sie folgt einem Prozess, der von der biologischen Evolution inspiriert ist: Erstellen einer anfänglichen Population zufälliger Lösungen (typischerweise 100+ Hyperparametertupel), Bewerten ihrer Fitness (z. B. 10-fache Kreuzvalidierungsgenauigkeit), Rangfolge nach Fitness und dann Erzeugen einer neuen Population durch Selektion, Crossover und Mutation. Dieser iterative Prozess wird fortgesetzt, bis ein Stoppkriterium erfüllt ist. Evolutionäre Methoden sind robust und können komplexe, nicht differenzierbare Suchräume handhaben, was sie für das Tuning von Hyperparametern in verschiedenen maschinellen Lernmodellen geeignet macht, einschließlich solcher, die in Deep Learning und großen Sprachmodellen verwendet werden.
Praktische Überlegungen
Hyperparameter-Tuning ist ein kritischer Schritt in der Entwicklung von Systemen der künstlichen Intelligenz. Die Wahl der Methode hängt vom Rechenbudget, der Dimensionalität des Hyperparameterraums und der Natur des Modells ab. Für teure Modelle, wie Transformatoren, die in generativer KI verwendet werden, wird die Bayesianische Optimierung oft aufgrund ihrer Stichprobeneffizienz bevorzugt. Für einfachere Modelle oder wenn parallele Ressourcen reichlich vorhanden sind, können Zufallssuche oder Rastersuche ausreichen. Werkzeuge und Frameworks für das Tuning sind weit verbreitet, und die Forschung setzt sich mit effizienteren Methoden fort, einschließlich solcher, die mit Batch-Normalisierung und anderen Trainingstechniken integriert werden.