Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Top-p-Sampling

Top-p-Sampling oder Nucleus Sampling wählt jedes nächste Token nur aus der kleinsten Menge von Kandidaten, deren gemeinsame Wahrscheinlichkeit einen Schwellenwert p erreicht, und schneidet den langen Rand unwahrscheinlicher Tokens ab.

Auch: nucleus sampling, top-k, top-k sampling

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Wenn ein Modell Text erzeugt, hat jedes mögliche nächste Token eine gewisse Wahrscheinlichkeit. Aus allen zu sampeln lässt seltene, merkwürdige Tokens hineinrutschen. Immer das eine wahrscheinlichste Token zu nehmen führt meist zu farblosem, repetitivem Text. Top-p-Sampling liegt dazwischen.

So funktioniert es

Sortiere die Kandidaten-Tokens vom wahrscheinlichsten zum unwahrscheinlichsten. Addiere ihre Wahrscheinlichkeiten, bis die Summe p überschreitet, zum Beispiel 0,9. Behalte diese Menge, verwirf den Rest und sample aus dem, was übrig ist. Wenn das Modell sicher ist, enthält die Menge vielleicht nur wenige Tokens. Wenn es unsicher ist, wächst die Menge. Diese anpassungsfähige Größe ist der Hauptunterschied zu Top-k.

Woher es kommt

Holtzman und Kollegen stellten Nucleus Sampling in „The Curious Case of Neural Text Degeneration“ (2019) vor. Sie stellten fest, dass Likelihood als Ziel beim Dekodieren zu farblosem, repetitivem Text führt und dass Sampling aus dem dynamischen Kern der Verteilung Vielfalt erhält und den weniger verlässlichen Rand entfernt.

Top-k-Sampling

Top-k behält eine feste Zahl von Kandidaten, die k wahrscheinlichsten Tokens, egal wie die Wahrscheinlichkeit verteilt ist. Es ist einfacher, kann aber zu viele Optionen behalten, wenn das Modell sicher ist, und zu wenige, wenn es das nicht ist. Manche APIs bieten beide Einstellungen.

Unterschied zur Temperature

Temperature formt die ganze Verteilung um; Top-p schneidet sie ab. Beide wirken bei der Inferenz und ändern nichts am Modell selbst.

Warum es wichtig ist

Für die meisten Entwickler sind das Stellschrauben, keine Designentscheidungen. Die Standardwerte sind meist vernünftig. Niedrigere Werte passen zu Aufgaben mit genau einer richtigen Antwort; höhere Werte passen zu offenem Schreiben.

Verwandte Begriffe

Temperature (Sampling)
Temperature (Temperatur) ist eine Sampling-Einstellung, die steuert, wie zufällig ein Sprachmodell seine Wörter wählt. Niedrige Werte lassen es die wahrscheinlichsten Tokens bevorzugen; höhere Werte verteilen die Wahl auf weniger wahrscheinliche.
Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Token (LLM)
Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.

Quellen