Top-P- (Nucleus-) Sampling

Top-p-Sampling, auch bekannt als Nucleus-Sampling, ist eine stochastische Dekodierungsstrategie, die verwendet wird, um Sequenzen aus autoregressiven probabilistischen Modellen zu erzeugen, insbesondere in der natürlichen Sprachgenerierung. Sie wurde ursprünglich 2019 von Ari Holtzman, Yejin Choi und Kollegen vorgeschlagen, um das Problem repetitiver und sinnloser Texte zu lösen, die durch deterministische Dekodierungsmethoden wie Beam-Search erzeugt werden. Die Technik wurde seitdem in Bereichen wie Proteintechnik und Geophysik angewendet.

Beim Top-p-Sampling wird ein Wahrscheinlichkeitsschwellenwert p festgelegt, und das nächste Element in einer Sequenz wird nur aus der kleinstmöglichen Menge von hochwahrscheinlichen Kandidaten abgetastet, deren kumulative Wahrscheinlichkeit p überschreitet. Diese Methode passt die Größe des Kandidatenpools basierend auf der Sicherheit des Modells an, was sie flexibler macht als Top-k-Sampling, das aus einer festen Anzahl von Kandidaten abtastet. Aufgrund seiner Effektivität wird Top-p-Sampling in vielen Large language model-Anwendungen weit verbreitet eingesetzt.

Technik

Bei jedem Schritt der Textgenerierung berechnet ein Sprachmodell eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular für das nächste Token. Während es möglich ist, einfach das Token mit der höchsten Wahrscheinlichkeit auszuwählen (gierige Suche) oder eine begrenzte Menge von hochwahrscheinlichen Sequenzen (Beam-Search), erzeugen diese deterministischen Methoden oft Text, der langweilig, repetitiv oder sinnlos ist. Top-p-Sampling führt Zufälligkeit ein, um diese Probleme zu vermeiden, während die Qualität erhalten bleibt.

Die Kernidee besteht darin, bei jedem Schritt aus einer kleineren, glaubwürdigeren Menge von Tokens abzutasten, die als Nucleus bezeichnet wird. Dieser Nucleus enthält die wahrscheinlichsten nächsten Tokens, deren kombinierte oder kumulative Wahrscheinlichkeit den Schwellenwert p gerade überschreitet. Durch das Abtasten nur aus dieser dynamisch großen Gruppe kann sich das Modell an verschiedene Situationen anpassen. Wenn das Modell sich über das nächste Token sicher ist (z. B. hat ein Token eine sehr hohe Wahrscheinlichkeit), wird der Nucleus klein sein. Wenn das Modell unsicher ist (die Wahrscheinlichkeiten sind gleichmäßiger verteilt), wird der Nucleus größer sein, was mehr Vielfalt ermöglicht.

Der Prozess bei jedem Schritt ist wie folgt:

1. Das Modell berechnet die Wahrscheinlichkeiten für alle möglichen nächsten Tokens.
2. Die Tokens werden nach ihrer Wahrscheinlichkeit in absteigender Reihenfolge sortiert.
3. Der Nucleus wird gebildet, indem Tokens von der Spitze der Liste ausgewählt werden, bis ihre kumulative Wahrscheinlichkeit den vordefinierten Schwellenwert p überschreitet.
4. Die Wahrscheinlichkeiten der Tokens innerhalb dieses Nucleus werden dann neu skaliert, sodass sie sich zu 1 summieren. Alle Tokens außerhalb des Nucleus werden verworfen (mit einer Wahrscheinlichkeit von 0 versehen).
5. Das endgültige nächste Token wird zufällig aus dieser neuen, kleineren Verteilung abgetastet.

Formal ist der Nucleus V^(p) ⊆ V als die kleinste Menge von Tokens definiert, die erfüllt: die Summe von P(x | x_1, ..., x_{t-1}) für alle x in V^(p) ist größer oder gleich p. Hier repräsentiert P(x | x_1, ..., x_{t-1}) die Wahrscheinlichkeit eines Tokens x gegeben die vorhergehenden Tokens x_1, ..., x_{t-1}.

Beispiel

Stellen Sie sich vor, dass ein Sprachmodell bei einem bestimmten Schritt ein Vokabular von fünf Wörtern hat: [the, a, cat, dog, eats] und die folgenden Wahrscheinlichkeiten erzeugt:

• the: 0,5
• a: 0,2
• cat: 0,1
• dog: 0,1
• eats: 0,1

Wenn wir p = 0,8 setzen:

• Die Tokens werden nach Wahrscheinlichkeit sortiert: [the, a, cat, dog, eats].
• Die kumulative Wahrscheinlichkeit wird berechnet:

- the: 0,5

- the + a: 0,5 + 0,2 = 0,7

- the + a + cat: 0,7 + 0,1 = 0,8

• Der Nucleus ist die kleinste Menge mit kumulativer Wahrscheinlichkeit ≥ 0,8, was V^(0,8) = {the, a, cat} ist.
• Die Wahrscheinlichkeiten für diese Menge werden neu skaliert, sodass sie sich zu 1 summieren:

- P(the) = 0,5 / 0,8 = 0,625

- P(a) = 0,2 / 0,8 = 0,25

- P(cat) = 0,1 / 0,8 = 0,125

• Das nächste Token wird dann aus dieser neuen Verteilung abgetastet, was bedeutet, dass dog und eats eine 0%ige Chance haben, ausgewählt zu werden.

Top-k-Sampling

Top-k-Sampling ist eine ähnliche Technik, bei der der Pool von Kandidaten-Tokens auf die k wahrscheinlichsten Tokens beschränkt wird. Der Hauptvorteil von Top-p ist seine Anpassungsfähigkeit. Wenn das Modell sich über das nächste Token sehr sicher ist (eine spitze Verteilung), kann der Nucleus V^(p) sehr klein sein. Wenn das Modell unsicher ist (eine flache Verteilung), kann der Nucleus viel größer sein, was mehr Vielfalt ermöglicht. Im Gegensatz dazu tastet Top-k immer aus einer festen Anzahl von Tokens ab, was je nach Kontext zu restriktiv oder zu breit sein kann.

Anwendungen

Während Top-p-Sampling am bekanntesten als Dekodierungsstrategie für große Sprachmodelle verwendet wird, wurde die Technik auch für andere wissenschaftliche Bereiche angepasst, die das Erzeugen oder Analysieren von sequenziellen Daten aus probabilistischen Modellen beinhalten.

Natürliche Sprachgenerierung

In seinem ursprünglichen Bereich der natürlichen Sprachgenerierung wird Top-p-Sampling für seine Fähigkeit geschätzt, vielfältigeren und kohärenteren Text im Vergleich zu deterministischen Methoden zu erzeugen. Es hat sich als vorteilhaft bei Aufgaben wie der automatischen Fragengenerierung erwiesen, wo Stichprobenvielfalt wichtig ist, um effektive Trainingsdaten für Frage-Antwort-Modelle zu erstellen.

Wirkstoff- und Proteindesign

Top-p-Sampling wird in der Computerbiologie verwendet, um neuartige Molekül- und Proteinsequenzen aus spezialisierten Sprachmodellen zu erzeugen. Im De-novo-Wirkstoffdesign verwenden chemische Sprachmodelle, die auf Molekülstrukturen trainiert wurden, Nucleus-Sampling, um fokussierte Bibliotheken neuer, gültiger Wirkstoffkandidaten zu generieren. Ähnlich verwenden Sprachmodelle, die auf Proteinsequenzen trainiert wurden, in der Proteintechnik Top-p-Sampling, um neuartige Sequenzen mit gewünschten Eigenschaften vorzuschlagen und den Suchraum über natürliche Varianten hinaus zu erweitern.

Geophysik

In der Geophysik wurde Top-p-Sampling angewendet, um synthetische seismische Daten zu erzeugen oder Untergrundstrukturen zu modellieren. Durch das Abtasten aus probabilistischen Modellen geologischer Sequenzen können Forscher vielfältige plausible Szenarien erstellen, die bei der Unsicherheitsquantifizierung und Interpretation seismischer Untersuchungen helfen.

Beziehung zu anderen Dekodierungsmethoden

Top-p-Sampling ist eine von mehreren stochastischen Dekodierungsstrategien, die mit autoregressiven Modellen verwendet werden. Es ergänzt andere Techniken wie Temperaturskalierung, die die Schärfe der Wahrscheinlichkeitsverteilung vor dem Abtasten anpasst, und Wiederholungsstrafe, die das Modell davon abhält, Tokens zu wiederholen. In der Praxis wird Top-p oft mit Temperaturskalierung kombiniert, um die Vielfalt und Qualität des generierten Textes fein abzustimmen. Zum Beispiel macht eine niedrigere Temperatur die Verteilung spitzer, und Top-p wählt dann einen kleineren Nucleus aus, was zu konservativeren Ausgaben führt.

Implementierungsüberlegungen

In der Praxis erfordert Top-p-Sampling das Sortieren der Wahrscheinlichkeitsverteilung bei jedem Generierungsschritt, was im Vergleich zur gierigen Dekodierung zusätzlichen Rechenaufwand hinzufügt. Für viele Anwendungen überwiegen jedoch die Vorteile in der Ausgabequalität die Kosten. Effiziente Implementierungen in Frameworks wie PyTorch und TensorFlow optimieren diesen Prozess durch die Verwendung von kumulativen Summenoperationen und Maskierung. Der Schwellenwert p ist ein Hyperparameter, der abgestimmt werden kann; übliche Werte reichen von 0,9 bis 0,95 für viele Sprachgenerierungsaufgaben, aber der optimale Wert hängt vom spezifischen Modell und der Anwendung ab.

Auswirkungen und Übernahme

Seit seiner Einführung im Jahr 2019 ist Top-p-Sampling zu einem Standardbestandteil der Dekodierungsstrategien vieler großer Sprachmodelle geworden, einschließlich derer von OpenAI, Anthropic und Google DeepMind. Es ist oft die Standard-Sampling-Methode in Textgenerierungs-APIs und Open-Source-Bibliotheken. Die Anpassungsfähigkeit der Technik hat sie zu einem Schlüsselwerkzeug gemacht, um Kreativität und Kohärenz in generativen KI-Systemen auszubalancieren, und beeinflusst, wie Chatbots, Inhaltsgeneratoren und andere Anwendungen menschenähnlichen Text erzeugen.