Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

HumanEval

O HumanEval é um benchmark de geração de código lançado pela OpenAI em 2021: 164 problemas de Python escritos à mão, cada um com assinatura de função, docstring e testes unitários, usados para verificar se um modelo escreve código que de fato funciona.

Também chamado: OpenAI HumanEval

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O HumanEval saiu junto com o artigo do Codex; uma versão de produção do Codex alimentava o GitHub Copilot. Cada problema dá ao modelo a assinatura de uma função Python e uma docstring que descreve o que a função deve fazer. O modelo escreve o corpo, e o benchmark roda testes unitários nele. Isso mede a correção funcional: o código passa nos testes ou não passa, seja qual for a aparência dele.

Como é pontuado

Os resultados são informados com pass@k, geralmente pass@1. No lançamento, o Codex resolveu 28,8% dos problemas em uma tentativa, enquanto o GPT-3 não resolveu nenhum. Os problemas foram escritos à mão para que não estivessem já no código com que os modelos eram treinados.

Limites

Os problemas do HumanEval são funções curtas e autocontidas, mais próximas de perguntas de entrevista do que de trabalho real com software. Uma pontuação alta diz pouco sobre corrigir um bug em uma base de código grande, rodar comandos ou trabalhar em muitos arquivos. É isso que o SWE-bench e o Terminal-Bench tentam medir. Como os problemas são públicos desde 2021, eles também podem ter vazado para dados de treinamento mais novos, um problema conhecido como contaminação de benchmark. Trate uma pontuação no HumanEval como um piso básico de capacidade de programação e teste um agente de programação nas suas próprias tarefas antes de escolher um.

Termos relacionados

pass@k
pass@k é uma métrica para benchmarks de código que dá a chance de pelo menos uma de k soluções geradas para um problema passar nos testes unitários; pass@1 é a chance de uma única tentativa dar certo.
SWE-bench
O SWE-bench é um benchmark de código construído a partir de issues reais do GitHub em projetos Python populares; um modelo ou agente precisa editar o repositório para que a issue seja corrigida e os testes ocultos do projeto passem.
Contaminação de benchmark
Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Agente de programação
Um agente de programação (coding agent) é um agente de IA que trabalha diretamente no software: lê uma base de código, edita arquivos, roda comandos e testes, e repete até que uma mudança funcione, em vez de apenas sugerir código para uma pessoa colar.

Fontes