Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

SWE-bench

O SWE-bench é um benchmark de código construído a partir de issues reais do GitHub em projetos Python populares; um modelo ou agente precisa editar o repositório para que a issue seja corrigida e os testes ocultos do projeto passem.

Também chamado: SWE-bench Verified, SWE-bench Lite

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Testes de código mais antigos pediam a um modelo que escrevesse uma função curta. O SWE-bench pede o que os desenvolvedores realmente fazem: ler uma issue, encontrar os arquivos certos em uma base de código grande e alterá-los. O artigo original reuniu 2.294 problemas de issues reais e seus pull requests em 12 repositórios Python. A correção muitas vezes mexe em várias funções ou arquivos, então ele recompensa agentes que conseguem buscar, rodar código e iterar, não só autocompletar.

Como é pontuado

Cada tarefa vem com o repositório no commit anterior à correção e os testes que o pull request real fez passar. O sistema testado produz um patch. O harness o aplica e roda os testes. A nota é a parcela de issues resolvidas. Quando o artigo saiu, o melhor modelo testado resolveu menos de 2% das issues. Consulte os leaderboards atuais para ver como os coding agents pontuam hoje.

SWE-bench Verified

O SWE-bench Verified é um subconjunto de 500 tarefas do conjunto de teste original que pessoas verificaram quanto à qualidade. Outras variantes incluem Lite, Multilingual e Multimodal, listadas nos leaderboards oficiais.

Como ler uma nota

O scaffold do agente importa tanto quanto o modelo: o mesmo modelo pontua diferente com ferramentas, prompts e limites de etapas diferentes. Verifique qual variante foi usada e se o resultado veio do laboratório ou de uma execução independente. Como as issues são públicas, a contaminação de benchmark é uma preocupação real. O mini-SWE-agent é um agente pequeno listado como parte da família de projetos do SWE-bench. Para trabalho centrado no terminal, veja o Terminal-Bench.

Termos relacionados

Agente de programação
Um agente de programação (coding agent) é um agente de IA que trabalha diretamente no software: lê uma base de código, edita arquivos, roda comandos e testes, e repete até que uma mudança funcione, em vez de apenas sugerir código para uma pessoa colar.
Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Terminal-Bench
O Terminal-Bench é um benchmark para agentes de IA que trabalham em um terminal de linha de comando, em que cada tarefa dá ao agente um ambiente real e é avaliada por testes que verificam se o trabalho foi realmente feito.
Contaminação de benchmark
Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
pass@k
pass@k é uma métrica para benchmarks de código que dá a chance de pelo menos uma de k soluções geradas para um problema passar nos testes unitários; pass@1 é a chance de uma única tentativa dar certo.

Fontes