Sampling-Temperatur ist ein Parameter, der bei der Erzeugung von Text oder anderen Inhalten aus einem probabilistischen Modell verwendet wird und steuert, wie zufällig oder deterministisch die Ausgabe ist, indem die Wahrscheinlichkeitsverteilung, aus der das Modell das nächste Token sampelt, vor der Auswahl neu skaliert wird. Sie ist eine der am häufigsten in APIs und Schnittstellen verfügbaren Einstellungen für Large Language Models und andere autoregressive Modelle.
So funktioniert es
Ein autoregressives Sprachmodell erzeugt bei jedem Schritt eine Wahrscheinlichkeitsverteilung über mögliche nächste Tokens, die typischerweise durch eine Softmax-Funktion über die rohen Ausgabewerte (Logits) des Modells berechnet wird. Dieser Prozess findet zur Inferenz-Zeit statt, nachdem das Modell durch Training festgelegt wurde. Die Temperatur wird angewendet, indem die Logits vor dem Softmax-Schritt durch den Temperaturwert dividiert werden. Eine Temperatur von 1,0 lässt die Verteilung unverändert, wie sie vom Modell berechnet wurde. Eine Temperatur unter 1,0 verschärft die Verteilung, wodurch die wahrscheinlichsten Tokens noch wahrscheinlicher werden und die Wahrscheinlichkeit seltenerer Tokens sinkt; eine Temperatur nahe 0 nähert sich dem deterministischen Verhalten an, bei dem immer das Token mit der höchsten Wahrscheinlichkeit gewählt wird, was auch als Greedy-Decoding bezeichnet wird. Eine Temperatur über 1,0 glättet die Verteilung, wodurch auch weniger wahrscheinliche Tokens eine vergleichsweise bessere Chance erhalten, ausgewählt zu werden, was die Vielfalt und Unvorhersehbarkeit der Ausgabe erhöht, aber auch das Risiko von Halluzination steigert, da ein weniger wahrscheinliches, aber falsches Token eher ausgewählt wird.
Zusammenhang mit anderen Sampling-Kontrollen
Die Temperatur wird in der Regel nicht allein verwendet, sondern mit anderen Decoding-Kontrollen kombiniert. Top-p-Sampling, auch Nucleus-Sampling genannt, beschränkt das Modell auf die kleinste Menge von Tokens, deren kumulative Wahrscheinlichkeit einen Schwellenwert p überschreitet, und verhindert so, dass bei hoher Temperatur gelegentlich ein äußerst unwahrscheinliches Token ausgewählt wird. Top-k-Sampling beschränkt die Auswahl ähnlich auf eine feste Anzahl der wahrscheinlichsten Tokens. Diese Einstellungen interagieren: Eine hohe Temperatur in Kombination mit einer lockeren Top-p- oder Top-k-Beschränkung kann zu inkohärentem Text führen, während eine Temperatur nahe 0 zusammen mit strengen Beschränkungen hochrepetitive und deterministische Ausgaben erzeugt, was für Aufgaben wie Codegenerierung oder Datenextraktion wünschenswert sein kann, bei denen eine einzige konsistente Antwort bevorzugt wird.
Praktische Anwendung
Niedrige oder Null-Temperaturen werden typischerweise für Aufgaben verwendet, die von Konsistenz und Korrektheit profitieren, wie faktische Fragenbeantwortung, strukturierte Datenextraktion, mathematische Berechnungen und Codegenerierung, wo Variation in der Formulierung nicht wertvoll ist und Fehler einführen kann. Reasoning-Modelle, die lange Ketten von Zwischenschlussfolgerungen erzeugen, werden oft mit niedriger Temperatur betrieben, um diesen Prozess stabil zu halten. Höhere Temperaturen werden für Aufgaben eingesetzt, die von Vielfalt profitieren, wie Brainstorming, kreatives Schreiben, Dialoge für Chatbots oder Spielfiguren sowie einige Anwendungen der Text-zu-Bild-Generierung, bei denen mehrere unterschiedliche Ausgaben aus derselben Eingabe nützlich sein können. Da die Temperatur direkt den Kompromiss zwischen Vorhersagbarkeit und Vielfalt steuert, ist sie ein häufiges Thema in Prompt-Engineering-Anleitungen, und Evaluationsstudien sowie Benchmarks setzen die Temperatur typischerweise auf oder nahe 0, um reproduzierbare Ergebnisse über mehrere Durchläufe hinweg zu erzielen. Die Temperatur beeinflusst nicht das zugrunde liegende Wissen oder die Denkfähigkeit des Modells; sie verändert lediglich, wie das Modell zwischen den plausiblen Ausgaben wählt, die es durch das Training gelernt hat. Deshalb kann eine höhere Temperatur vielfältigere, aber nicht unbedingt genauere Antworten erzeugen.