Top-p-Sampling

Top-p-Sampling, auch bekannt als Nucleus-Sampling, ist eine stochastische Dekodierungsstrategie, die verwendet wird, um Sequenzen aus autoregressiven probabilistischen Modellen zu erzeugen, insbesondere in der natürlichen Sprachgenerierung. Sie wurde ursprünglich 2019 von Ari Holtzman, Yejin Choi und Kollegen vorgeschlagen, um das Problem repetitiver und unsinniger Texte zu lösen, die durch deterministische Dekodierungsmethoden wie Beam-Search entstehen. Die Technik wurde seitdem in anderen wissenschaftlichen Bereichen wie dem Proteindesign und der Geophysik angewendet.

Technik

Beim Top-p-Sampling wird ein Wahrscheinlichkeitsschwellenwert p festgelegt, und das nächste Element in einer Sequenz wird nur aus der kleinstmöglichen Menge von Kandidaten mit hoher Wahrscheinlichkeit abgetastet, deren kumulative Wahrscheinlichkeit p überschreitet. Diese Methode passt die Größe des Kandidatenpools basierend auf der Sicherheit des Modells an, was sie flexibler macht als Top-k-Sampling, das eine feste Anzahl von Kandidaten abtastet. Aufgrund seiner Effektivität wird Top-p-Sampling häufig in vielen Large-Language-Model-Anwendungen eingesetzt.

Bei jedem Schritt des Textgenerierungsprozesses berechnet ein Sprachmodell eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular für das nächste Token. Während es möglich ist, einfach das Token mit der höchsten Wahrscheinlichkeit (Greedy-Suche) oder eine begrenzte Menge von Sequenzen mit hoher Wahrscheinlichkeit (Beam-Suche) auszuwählen, erzeugen diese deterministischen Methoden oft Texte, die langweilig, repetitiv oder unsinnig sind. Top-p-Sampling führt Zufälligkeit ein, um diese Probleme zu vermeiden und gleichzeitig die Qualität zu erhalten.

Die Kernidee besteht darin, bei jedem Schritt aus einer kleineren, glaubwürdigeren Menge von Token zu sampeln, die als Nukleus bezeichnet wird. Dieser Nukleus enthält die wahrscheinlichsten nächsten Token, deren kombinierte (kumulative) Wahrscheinlichkeit den Schwellenwert p gerade überschreitet. Durch die Abtastung nur aus dieser dynamisch großen Gruppe kann sich das Modell an verschiedene Situationen anpassen. Wenn das Modell sich sicher ist (z. B. ein Token hat eine sehr hohe Wahrscheinlichkeit), ist der Nukleus klein. Wenn das Modell unsicher ist (die Wahrscheinlichkeiten sind gleichmäßiger verteilt), ist der Nukleus größer, was mehr Vielfalt ermöglicht.

Der Prozess bei jedem Schritt ist wie folgt:

1. Das Modell berechnet die Wahrscheinlichkeiten für alle möglichen nächsten Token.
2. Die Token werden nach ihrer Wahrscheinlichkeit in absteigender Reihenfolge sortiert.
3. Der Nukleus wird gebildet, indem Token von der Spitze der Liste ausgewählt werden, bis ihre kumulative Wahrscheinlichkeit den vordefinierten Schwellenwert p überschreitet.
4. Die Wahrscheinlichkeiten der Token innerhalb dieses Nukleus werden dann neu skaliert, sodass sie sich zu 1 aufsummieren. Alle Token außerhalb des Nukleus werden verworfen (ihre Wahrscheinlichkeit wird auf 0 gesetzt).
5. Das endgültige nächste Token wird zufällig aus dieser neuen, kleineren Verteilung abgetastet.

Formal ist der Nukleus \(V^{(p)} \subseteq V\) definiert als die kleinste Menge von Token, die die folgende Bedingung erfüllt:

\[\sum_{x \in V^{(p)}} P(x|x_1, \dots, x_{t-1}) \geq p\]

In dieser Formel stellt \(P(x|x_1, \dots, x_{t-1})\) die Wahrscheinlichkeit eines Tokens \(x\) dar, gegeben die vorhergehenden Token \(x_1, \dots, x_{t-1}\).

Beispiel

Stellen Sie sich vor, bei einem bestimmten Schritt hat ein Sprachmodell ein Vokabular von fünf Wörtern: [the, a, cat, dog, eats] und erzeugt die folgenden Wahrscheinlichkeiten:

• the: 0.5
• a: 0.2
• cat: 0.1
• dog: 0.1
• eats: 0.1

Wenn wir \(p = 0.8\) setzen:

1. Die Token werden nach Wahrscheinlichkeit sortiert: [the, a, cat, dog, eats].
2. Die kumulative Wahrscheinlichkeit wird berechnet:
   • the: 0.5
   • the + a: 0.5 + 0.2 = 0.7
   • the + a + cat: 0.7 + 0.1 = 0.8
3. Der Nukleus ist die kleinste Menge mit einer kumulativen Wahrscheinlichkeit ≥ 0.8, also \(V^{(0.8)} = \{\text{the, a, cat}\}\).
4. Die Wahrscheinlichkeiten für diese Menge werden neu skaliert, sodass sie sich zu 1 aufsummieren:
   • P(the) = 0.5 / 0.8 = 0.625
   • P(a) = 0.2 / 0.8 = 0.25
   • P(cat) = 0.1 / 0.8 = 0.125
5. Das nächste Token wird dann aus dieser neuen Verteilung abgetastet, was bedeutet, dass dog und eats eine Wahrscheinlichkeit von 0 % haben, ausgewählt zu werden.

Vergleich mit Top-k-Sampling

Top-k-Sampling ist eine ähnliche Technik, bei der der Pool der Kandidaten-Token auf die \(k\) wahrscheinlichsten Token beschränkt ist. Der Hauptvorteil von Top-p-Sampling ist seine Anpassungsfähigkeit. Wenn das Modell sich beim nächsten Token sehr sicher ist (eine spitze Verteilung), kann der Nukleus \(V^{(p)}\) sehr klein sein. Wenn das Modell unsicher ist (eine flache Verteilung), kann der Nukleus viel größer sein, was mehr Vielfalt ermöglicht. Im Gegensatz dazu sampelt Top-k immer aus einer festen Anzahl von Token, was je nach Kontext entweder zu restriktiv oder zu breit sein kann.

Anwendungen

Während Top-p-Sampling am bekanntesten als Dekodierungsstrategie für große Sprachmodelle ist, wurde die Technik auch für andere wissenschaftliche Bereiche adaptiert, die die Generierung oder Analyse von sequenziellen Daten aus probabilistischen Modellen beinhalten.

Natürliche Sprachgenerierung

In seinem ursprünglichen Anwendungsgebiet, der natürlichen Sprachgenerierung, wird Top-p-Sampling für seine Fähigkeit geschätzt, vielfältigeren und kohärenteren Text zu erzeugen als deterministische Methoden. Es hat sich als vorteilhaft bei Aufgaben wie der automatischen Fragengenerierung erwiesen, wo die Vielfalt der Stichproben wichtig ist, um effektive Trainingsdaten für Frage-Antwort-Modelle zu erstellen.

Medikamenten- und Proteindesign

In der Computerbiologie wird Top-p-Sampling verwendet, um neuartige Molekül- und Proteinsequenzen aus spezialisierten Sprachmodellen zu generieren. Beim De-novo-Wirkstoffdesign nutzen chemische Sprachmodelle, die auf Molekülstrukturen trainiert wurden, das Nucleus-Sampling, um fokussierte Bibliotheken neuer, gültiger Wirkstoffkandidaten zu erzeugen. In ähnlicher Weise nutzen Protein-Sprachmodelle Top-p-Sampling, um neuartige Proteinsequenzen mit gewünschten Eigenschaften vorzuschlagen, was die Bemühungen im Protein-Engineering unterstützt.

Geophysik

In der Geophysik wurde Top-p-Sampling angewendet, um Sequenzen geologischer Ereignisse zu generieren oder Untergrundstrukturen zu modellieren. Beispielsweise kann es in der seismischen Inversion oder der Lagerstättencharakterisierung verwendet werden, um aus probabilistischen Modellen zu sampeln, die Untergrundeigenschaften vorhersagen, was hilft, die Unsicherheit in geologischen Interpretationen zu quantifizieren.

Implementierung und Nutzung

In der Praxis wird Top-p-Sampling oft mit anderen Dekodierungsstrategien wie der Temperaturskalierung kombiniert, um die Zufälligkeit und Qualität des erzeugten Textes fein abzustimmen. Die Temperaturskalierung passt die Schärfe der Wahrscheinlichkeitsverteilung an, bevor Top-p angewendet wird, was eine weitere Kontrolle über die Vielfalt ermöglicht. Viele Machine-Learning-Frameworks und Bibliotheken bieten eine eingebaute Unterstützung für Top-p-Sampling, was die Integration in bestehende Pipelines erleichtert.

Top-p-Sampling ist ein Standardmerkmal in den APIs großer KI-Unternehmen, darunter OpenAI, Anthropic und Google DeepMind, sowie in Open-Source-Bibliotheken wie Hugging Face's Transformers. Es wird typischerweise als Parameter (z. B. top_p) in Textgenerierungsfunktionen angegeben, wobei übliche Werte für ausgewogene Ergebnisse zwischen 0.9 und 0.95 liegen.

Die Wahl von p beeinflusst die Ausgabe erheblich. Ein niedrigerer p-Wert (z. B. 0.5) macht das Modell konservativer, da es sich auf Token mit hoher Wahrscheinlichkeit konzentriert, während ein höherer p-Wert (z. B. 0.99) mehr Vielfalt zulässt, aber das Risiko von Inkohärenz erhöhen kann. Forscher und Praktiker stimmen p basierend auf der spezifischen Aufgabe und den gewünschten Ausgabeeigenschaften ab.

Siehe auch

• Top k Sampling
• Temperatur-Sampling
• Beam Suche
• Greedy Dekodierung