Muestreo top-p
El muestreo top-p (top-p sampling), o nucleus sampling, elige cada token siguiente solo entre el conjunto más pequeño de candidatos cuya probabilidad combinada alcanza un umbral p, recortando la larga cola de tokens poco probables.
También llamado: nucleus sampling, top-k, top-k sampling
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Cuando un modelo genera texto, cada posible token siguiente tiene cierta probabilidad. Muestrear entre todos deja que se cuelen tokens raros y extraños. Tomar siempre el token más probable tiende a producir texto soso y repetitivo. El muestreo top-p se sitúa entre ambos extremos.
Cómo funciona
Ordena los tokens candidatos del más al menos probable. Suma sus probabilidades hasta que el total supere p, por ejemplo 0.9. Conserva ese conjunto, descarta el resto y muestrea entre lo que queda. Cuando el modelo está seguro, el conjunto puede contener solo unos pocos tokens. Cuando duda, el conjunto crece. Ese tamaño adaptable es la principal diferencia con top-k.
De dónde viene
Holtzman y sus colaboradores presentaron el nucleus sampling en "The Curious Case of Neural Text Degeneration" (2019). Observaron que usar la verosimilitud como objetivo de decodificación produce texto soso y repetitivo, y que muestrear del núcleo dinámico de la distribución mantiene la variedad y elimina la cola menos fiable.
Muestreo top-k
Top-k conserva un número fijo de candidatos, los k tokens más probables, sea cual sea el reparto de la probabilidad. Es más sencillo, pero puede conservar demasiadas opciones cuando el modelo está seguro y muy pocas cuando no lo está. Algunas API ofrecen ambos ajustes.
En qué se diferencia de la temperatura
La temperatura cambia la forma de toda la distribución; top-p la recorta. Ambos actúan en el momento de la inferencia y no cambian nada del modelo en sí.
Por qué importa
Para la mayoría de los desarrolladores son controles de ajuste, no decisiones de diseño. Los valores por defecto suelen ser razonables. Los valores bajos encajan con tareas que tienen una sola respuesta correcta; los altos, con la escritura abierta.
Términos relacionados
- Temperatura (muestreo)
- La temperatura (temperature) es un ajuste de muestreo que controla lo aleatorias que son las elecciones de palabras de un modelo de lenguaje. Los valores bajos hacen que favorezca los tokens más probables; los más altos reparten las elecciones entre otros menos probables.
- Modelo de lenguaje grande
- Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
- Token (LLM)
- Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.
- Inferencia
- La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.