Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

pass@k

pass@k é uma métrica para benchmarks de código que dá a chance de pelo menos uma de k soluções geradas para um problema passar nos testes unitários; pass@1 é a chance de uma única tentativa dar certo.

Também chamado: pass@1, pass@10, pass@100

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Código pode ser verificado rodando-o. Então, em vez de comparar o código de um modelo com uma resposta de referência, benchmarks de código como o HumanEval rodam testes unitários e contam um problema como resolvido se o código passar. O pass@k pergunta: se o modelo tiver k tentativas, qual a probabilidade de pelo menos uma funcionar?

Como é calculado

A métrica foi usada por Kulal e colegas em 2019 e virou padrão com o artigo do Codex da OpenAI, de 2021. Gerar exatamente k amostras e verificá-las dá um número com muito ruído, então o artigo gera n amostras por problema (usou n = 200), conta as c que passam e calcula uma estimativa não enviesada do pass@k a partir de n, c e k. O artigo traz uma função curta em numpy para isso.

Como ler os números

O pass@1 corresponde a como a maioria das pessoas usa um assistente de código: uma resposta, aceite ou descarte. O pass@10 ou o pass@100 mostra o que um modelo consegue fazer com novas tentativas e uma suíte de testes para escolher a vencedora. O Codex resolveu 28,8% dos problemas do HumanEval no pass@1 e 70,2% com 100 amostras, o que mostra o quanto o número muda com k. Compare modelos só com o mesmo k, a mesma temperature de amostragem e o mesmo prompt.

pass@k versus pass^k

O τ-bench usa uma métrica relacionada, escrita pass^k, que pergunta se um agente tem sucesso em todas as k tentativas da mesma tarefa. O pass@k recompensa um único sucesso de sorte; o pass^k recompensa a consistência. Para agentes que rodam sem supervisão, o pass^k costuma ser o número mais revelador. Veja avaliação de LLM para entender como eles entram em um plano de testes mais amplo.

Termos relacionados

HumanEval
O HumanEval é um benchmark de geração de código lançado pela OpenAI em 2021: 164 problemas de Python escritos à mão, cada um com assinatura de função, docstring e testes unitários, usados para verificar se um modelo escreve código que de fato funciona.
SWE-bench
O SWE-bench é um benchmark de código construído a partir de issues reais do GitHub em projetos Python populares; um modelo ou agente precisa editar o repositório para que a issue seja corrigida e os testes ocultos do projeto passem.
Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
τ-bench
O τ-bench (tau-bench) é um benchmark que testa agentes de IA em conversas simuladas de atendimento ao cliente, em que um modelo de linguagem faz o papel do usuário e o agente precisa usar ferramentas de API do domínio seguindo regras de política escritas.

Fontes