In maschinellem Lernen ist ein Hyperparameter ein Parameter, der festgelegt werden kann, um jeden konfigurierbaren Teil des Lernprozesses eines Modells zu definieren. Hyperparameter werden entweder als Modell-Hyperparameter klassifiziert, wie etwa die Topologie und Größe eines neuronalen Netzes, oder als Algorithmus-Hyperparameter, wie etwa die Lernrate und die Batch-Größe eines Optimierers. Sie werden als Hyperparameter bezeichnet, im Gegensatz zu Parametern, die Merkmale sind, die das Modell während des Trainings aus den Daten lernt.
Hyperparameter sind nicht für jedes Modell oder jeden Algorithmus erforderlich. Einige einfache Algorithmen, wie etwa die gewöhnliche Kleinste-Quadrate-Regression, benötigen keine. Der LASSO-Algorithmus beispielsweise fügt der gewöhnlichen Kleinste-Quadrate-Regression jedoch einen Regularisierungs-Hyperparameter hinzu, der vor dem Training festgelegt werden muss. Selbst Modelle und Algorithmen ohne strikte Anforderung, Hyperparameter zu definieren, können keine aussagekräftigen Ergebnisse liefern, wenn diese nicht sorgfältig gewählt werden. Optimale Werte für Hyperparameter sind nicht immer leicht vorherzusagen; einige Hyperparameter haben möglicherweise keine bedeutsame Wirkung, oder eine wichtige Variable kann von dem Wert einer anderen abhängen. Oft ist ein separater Prozess der Hyperparameter-Abstimmung erforderlich, um eine geeignete Kombination für die Daten und die Aufgabe zu finden. Neben der Verbesserung der Modellleistung können Hyperparameter von Forschern genutzt werden, um Robustheit und Reproduzierbarkeit in ihre Arbeit einzubringen, insbesondere wenn diese Modelle verwendet, die Zufallszahlengenerierung beinhalten.
Überlegungen
Die Zeit, die zum Trainieren und Testen eines Modells benötigt wird, kann von der Wahl seiner Hyperparameter abhängen. Ein Hyperparameter ist üblicherweise vom kontinuierlichen oder ganzzahligen Typ, was zu Optimierungsproblemen mit gemischten Typen führt. Die Existenz einiger Hyperparameter ist von dem Wert anderer abhängig, beispielsweise kann die Größe jeder verborgenen Schicht in einem neuronalen Netz von der Anzahl der Schichten abhängen. Folglich können Hyperparameter hierarchische oder bedingte Konfigurationsräume bilden, in denen eine Designentscheidung bestimmt, welche weiteren Hyperparameter relevant sind.
Schwer lernbare Parameter
Die Zielfunktion ist typischerweise nicht differenzierbar in Bezug auf Hyperparameter. Infolgedessen können Hyperparameter in den meisten Fällen nicht mit gradientenbasierten Optimierungsmethoden wie Gradientenabstieg gelernt werden, die üblicherweise zum Lernen von Modellparametern eingesetzt werden. Diese Hyperparameter beschreiben eine Modellrepräsentation, die nicht durch gängige Optimierungsmethoden gelernt werden kann, aber dennoch die Verlustfunktion beeinflusst. Ein Beispiel ist der Toleranz-Hyperparameter für Fehler bei Support Vector Machines.
Nicht trainierbare Parameter
Manchmal können Hyperparameter nicht aus den Trainingsdaten gelernt werden, weil sie die Kapazität eines Modells aggressiv erhöhen und die Verlustfunktion zu einem unerwünschten Minimum treiben können, was zu Überanpassung an die Daten führt, anstatt den Reichtum der Struktur in den Daten korrekt abzubilden. Wenn beispielsweise der Grad einer Polynomgleichung, die ein Regressionsmodell anpasst, als trainierbarer Parameter behandelt wird, würde der Grad zunehmen, bis das Modell die Daten perfekt anpasst, was zu einem niedrigen Trainingsfehler, aber einer schlechten Generalisierungsleistung führt.
Abstimmbarkeit
Die meiste Leistungsvariation kann auf nur wenige Hyperparameter zurückgeführt werden. Die Abstimmbarkeit eines Algorithmus, Hyperparameters oder interagierender Hyperparameter ist ein Maß dafür, wie viel Leistung durch dessen Abstimmung gewonnen werden kann. Bei einem LSTM sind die Lernrate gefolgt von der Netzwerkgröße die entscheidendsten Hyperparameter, während Batching und Momentum keinen signifikanten Einfluss auf seine Leistung haben. Obwohl einige Forschungen die Verwendung von Mini-Batch-Größen im Tausenderbereich befürwortet haben, haben andere Arbeiten die beste Leistung mit Mini-Batch-Größen zwischen 2 und 32 gefunden.
Robustheit
Eine inhärente Stochastizität beim Lernen impliziert direkt, dass die empirische Hyperparameter-Leistung nicht unbedingt seine wahre Leistung ist. Methoden, die nicht robust gegenüber einfachen Änderungen an Hyperparametern, Zufalls-Seeds oder sogar unterschiedlichen Implementierungen desselben Algorithmus sind, können nicht ohne signifikante Vereinfachung und Robustifizierung in sicherheitskritische Steuerungssysteme integriert werden. Im Gegenzug können Hyperparameter-Wahlen nicht nur die Vorhersageleistung beeinflussen, sondern auch die Robustheit und Stabilität der Ausgaben eines Modells unter veränderten oder verrauschten Eingabebedingungen. Verstärkungslernalgorithmen erfordern insbesondere, ihre Leistung über eine große Anzahl von Zufalls-Seeds zu messen und auch ihre Empfindlichkeit gegenüber Hyperparameter-Wahlen zu messen. Ihre Bewertung mit einer kleinen Anzahl von Zufalls-Seeds erfasst die Leistung aufgrund hoher Varianz nicht angemessen. Einige Verstärkungslernmethoden, wie DDPG (Deep Deterministic Policy Gradient), sind empfindlicher gegenüber Hyperparameter-Wahlen als andere.
Optimierung
Die Hyperparameter-Optimierung findet ein Tupel von Hyperparametern, das ein optimales Modell ergibt, das eine vordefinierte Verlustfunktion auf gegebenen Testdaten minimiert. Die Zielfunktion nimmt ein Tupel von Hyperparametern und gibt den zugehörigen Verlust zurück. Typischerweise sind diese Methoden nicht gradientenbasiert und wenden stattdessen Konzepte aus der ableitungsfreien Optimierung oder Black-Box-Optimierung an. Gängige Techniken umfassen Rastersuche, Zufallssuche und Bayes'sche Optimierung, obwohl die Quelle diese Details nicht spezifiziert.
Reproduzierbarkeit
Abgesehen von der Abstimmung von Hyperparametern umfasst maschinelles Lernen das Speichern und Organisieren der Parameter und Ergebnisse sowie die Sicherstellung, dass sie reproduzierbar sind. In Abwesenheit einer robusten Infrastruktur für diesen Zweck entwickelt sich Forschungscode oft schnell und beeinträchtigt wesentliche Aspekte wie Buchführung und Reproduzierbarkeit. Online-Kollaborationsplattformen für maschinelles Lernen gehen weiter, indem sie Wissenschaftlern ermöglichen, Experimente, Daten und Algorithmen automatisch zu teilen, zu organisieren und zu diskutieren. Reproduzierbarkeit kann für Deep-Learning-Modelle besonders schwierig sein. Beispielsweise hat Forschung gezeigt, dass Deep-Learning-Modelle sehr stark sogar von der Auswahl des Zufalls-Seeds des Zufallszahlengenerators abhängen.
Siehe auch
- Hyper-Heuristik
- Replikationskrise