Top-p sampling
O top-p sampling, ou nucleus sampling (amostragem por núcleo), escolhe cada próximo token só entre o menor conjunto de candidatos cuja probabilidade somada atinge um limite p, cortando a longa cauda de tokens improváveis.
Também chamado: nucleus sampling, top-k, top-k sampling
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Quando um modelo gera texto, cada token seguinte possível tem alguma probabilidade. Amostrar entre todos eles deixa entrar tokens raros e estranhos. Pegar sempre o token mais provável tende a produzir texto sem graça e repetitivo. O top-p sampling fica entre os dois.
Como funciona
Ordene os tokens candidatos do mais ao menos provável. Some suas probabilidades até o total passar de p, por exemplo 0,9. Mantenha esse conjunto, descarte o resto e amostre do que foi mantido. Quando o modelo está confiante, o conjunto pode ter só alguns tokens. Quando está em dúvida, o conjunto cresce. Esse tamanho adaptável é a principal diferença em relação ao top-k.
De onde vem
Holtzman e colegas apresentaram o nucleus sampling em "The Curious Case of Neural Text Degeneration" (2019). Eles concluíram que usar a verossimilhança como objetivo de decodificação leva a texto sem graça e repetitivo, e que amostrar do núcleo dinâmico da distribuição mantém a variedade enquanto remove a cauda menos confiável.
Top-k sampling
O top-k mantém um número fixo de candidatos, os k tokens mais prováveis, não importa como a probabilidade esteja distribuída. Ele é mais simples, mas pode manter opções demais quando o modelo tem certeza e de menos quando não tem. Algumas APIs expõem as duas configurações.
Como difere da temperature
A temperature remodela a distribuição inteira; o top-p a corta. Os dois atuam na hora da inferência e não mudam nada no modelo em si.
Por que importa
Para a maioria de quem constrói, esses são botões de ajuste, não decisões de design. Os padrões costumam ser sensatos. Valores menores combinam com tarefas com uma única resposta certa; valores maiores combinam com escrita aberta.
Termos relacionados
- Temperature (amostragem)
- A temperature (temperatura) é uma configuração de amostragem que controla quão aleatórias são as escolhas de palavras de um modelo de linguagem. Valores baixos o fazem favorecer os tokens mais prováveis; valores mais altos espalham as escolhas entre os menos prováveis.
- Grande modelo de linguagem
- Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
- Token (LLM)
- Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
- Inferência
- Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.