Top-p-Sampling
Top-p-Sampling oder Nucleus Sampling wählt jedes nächste Token nur aus der kleinsten Menge von Kandidaten, deren gemeinsame Wahrscheinlichkeit einen Schwellenwert p erreicht, und schneidet den langen Rand unwahrscheinlicher Tokens ab.
Auch: nucleus sampling, top-k, top-k sampling
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Wenn ein Modell Text erzeugt, hat jedes mögliche nächste Token eine gewisse Wahrscheinlichkeit. Aus allen zu sampeln lässt seltene, merkwürdige Tokens hineinrutschen. Immer das eine wahrscheinlichste Token zu nehmen führt meist zu farblosem, repetitivem Text. Top-p-Sampling liegt dazwischen.
So funktioniert es
Sortiere die Kandidaten-Tokens vom wahrscheinlichsten zum unwahrscheinlichsten. Addiere ihre Wahrscheinlichkeiten, bis die Summe p überschreitet, zum Beispiel 0,9. Behalte diese Menge, verwirf den Rest und sample aus dem, was übrig ist. Wenn das Modell sicher ist, enthält die Menge vielleicht nur wenige Tokens. Wenn es unsicher ist, wächst die Menge. Diese anpassungsfähige Größe ist der Hauptunterschied zu Top-k.
Woher es kommt
Holtzman und Kollegen stellten Nucleus Sampling in „The Curious Case of Neural Text Degeneration“ (2019) vor. Sie stellten fest, dass Likelihood als Ziel beim Dekodieren zu farblosem, repetitivem Text führt und dass Sampling aus dem dynamischen Kern der Verteilung Vielfalt erhält und den weniger verlässlichen Rand entfernt.
Top-k-Sampling
Top-k behält eine feste Zahl von Kandidaten, die k wahrscheinlichsten Tokens, egal wie die Wahrscheinlichkeit verteilt ist. Es ist einfacher, kann aber zu viele Optionen behalten, wenn das Modell sicher ist, und zu wenige, wenn es das nicht ist. Manche APIs bieten beide Einstellungen.
Unterschied zur Temperature
Temperature formt die ganze Verteilung um; Top-p schneidet sie ab. Beide wirken bei der Inferenz und ändern nichts am Modell selbst.
Warum es wichtig ist
Für die meisten Entwickler sind das Stellschrauben, keine Designentscheidungen. Die Standardwerte sind meist vernünftig. Niedrigere Werte passen zu Aufgaben mit genau einer richtigen Antwort; höhere Werte passen zu offenem Schreiben.
Verwandte Begriffe
- Temperature (Sampling)
- Temperature (Temperatur) ist eine Sampling-Einstellung, die steuert, wie zufällig ein Sprachmodell seine Wörter wählt. Niedrige Werte lassen es die wahrscheinlichsten Tokens bevorzugen; höhere Werte verteilen die Wahl auf weniger wahrscheinliche.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Token (LLM)
- Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.