Eine Verlustfunktion, auch Kostenfunktion oder Zielfunktion genannt, ist eine mathematische Funktion, die die Differenz zwischen den Vorhersagen eines Modells und den tatsächlichen Zielwerten misst, die es anzugleichen versucht. Das Training eines Machine-Learning-Modells ist in fast allen Fällen der Prozess, seine Parameter so anzupassen, dass die Ausgabe dieser Funktion so klein wie möglich wird, typischerweise mithilfe von Gradientenabstieg, der durch über Backpropagation berechnete Gradienten gesteuert wird.
Häufige Formen
Für Regressionsaufgaben, bei denen das Ziel eine kontinuierliche Zahl ist, ist der mittlere quadratische Fehler, der Durchschnitt der quadrierten Differenzen zwischen Vorhersagen und Zielen, die am weitesten verbreitete Verlustfunktion, die große Fehler überproportional stärker bestraft als kleine. Für Klassifikationsaufgaben misst die Kreuzentropie-Verlustfunktion, manchmal auch Log-Loss genannt, die Differenz zwischen der vorhergesagten Wahrscheinlichkeitsverteilung über Klassen und der tatsächlichen Verteilung und ist die Standardwahl für Probleme von der Bildklassifikation bis zur Vorhersage des nächsten Tokens. Große Sprachmodelle werden fast ausschließlich mit einer Kreuzentropie-Verlustfunktion trainiert, die an jeder Token-Position angewendet wird, was das Modell effektiv dazu auffordert, bei jedem Schritt dem tatsächlichen nächsten Token im Trainings text eine möglichst hohe Wahrscheinlichkeit zuzuweisen. Andere Verlustfunktionen dienen speziellen Zwecken: Hinge-Loss für margin-basierte Klassifikatoren wie Support-Vektor-Maschinen, kontrastive und Triplet-Verluste für das Lernen von Einbettungen, bei denen ähnliche Elemente im latenten Raum nahe beieinander liegen sollten, sowie adversarial Verlustfunktionen, bei denen die Fähigkeit eines zweiten Netzwerks, echte von generierten Daten zu unterscheiden, zur Verlustfunktion für den Generator eines Generativen Adversarialen Netzwerks wird.
Verlustfunktion versus das, was wir tatsächlich wollen
Ein wiederkehrendes Thema im maschinellen Lernen ist die Kluft zwischen der Verlustfunktion, die ein Modell mathematisch optimiert, um sie zu minimieren, und dem tatsächlichen übergeordneten Ziel, das oft schwer präzise zu spezifizieren ist. Ein Großes Sprachmodell, das rein darauf trainiert wird, die Kreuzentropie-Verlustfunktion für das nächste Token zu minimieren, wird Text fließend fortsetzen, hat aber keinen expliziten Anreiz, ehrlich, hilfreich oder sicher zu sein; diese Eigenschaften werden anschließend durch zusätzliche Ziele wie RLHF hinzugefügt, bei denen ein gelerntes Belohnungsmodell ein weiteres Verlustsignal liefert, das durch menschliche Präferenzen geformt wird. Wenn ein Modell einen Weg findet, bei seiner Verlustfunktion oder einer verwandten Proxy-Metrik gut abzuschneiden, ohne das beabsichtigte Ziel tatsächlich zu erreichen, wird dieses Ergebnis als Reward-Hacking bezeichnet, eine Fehlerform, die umso folgenreicher wird, je mehr Autonomie und bessere Optimierung Modellen gegeben wird.
Verlustfunktion und Generalisierung
Eine Verlustfunktion wird normalerweise sowohl auf einem Trainingssatz, aus dem das Modell direkt lernt, als auch auf einem zurückgehaltenen Validierungssatz bewertet, der schätzt, wie gut das Modell bei neuen Daten abschneiden wird. Eine große und anhaltende Kluft zwischen Trainingsverlust und Validierungsverlust ist das klassische Anzeichen für Overfitting, bei dem ein Modell effektiv Details der Trainingsdaten auswendig gelernt hat, anstatt Muster zu lernen, die generalisieren. Techniken, die unter Regularisierung zusammengefasst werden, wie direkt in die Verlustfunktion eingefügte Gewichtsstrafen, Dropout und frühes Stoppen basierend auf dem Validierungsverlust, sind die Standardwerkzeuge, um diese Kluft unter Kontrolle zu halten. Da die Verlustlandschaft eines tiefen Netzwerks extrem hochdimensional ist, beeinflusst die spezifische Form der Verlustfunktion, und nicht nur ihr Endwert, maßgeblich, wie einfach ein Modell zu trainieren ist, was Forschung zur Glattheit der Verlustlandschaft und deren Verbindung zu architektonischen Entscheidungen wie Normalisierungsschichten und Residualverbindungen motiviert.