Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Terminal-Bench

O Terminal-Bench é um benchmark para agentes de IA que trabalham em um terminal de linha de comando, em que cada tarefa dá ao agente um ambiente real e é avaliada por testes que verificam se o trabalho foi realmente feito.

Também chamado: Terminal-Bench 2.0, tbench

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Os coding agents trabalham cada vez mais por meio de um shell: instalando pacotes, editando arquivos, rodando builds e depurando. O Terminal-Bench mede isso. Ele é mantido por uma equipe sediada em Stanford e no Laude Institute, e suas tarefas vêm de fluxos de trabalho reais, não de perguntas no estilo quebra-cabeça.

Como funciona

Cada tarefa vem com seu próprio ambiente, uma solução de referência escrita por uma pessoa e testes que verificam o resultado. O agente é colocado no ambiente com instruções e precisa terminar o trabalho usando o terminal. A nota é a parcela de tarefas que ele resolve. O artigo do Terminal-Bench 2.0 descreve 89 tarefas difíceis e relata que modelos de fronteira e agentes pontuaram abaixo de 65%. Desde então, o projeto avançou para versões mais novas, com o Terminal-Bench 4.1 no site no momento em que este texto foi escrito.

Modelo e harness juntos

O leaderboard lista um modelo e um agente para cada resultado, porque o mesmo modelo pode pontuar diferente em agent harnesses diferentes. Quando um fabricante de modelos cita um número do Terminal-Bench, verifique qual harness e qual versão foram usados. O site também marca seus dados com uma canary string pedindo que eles nunca apareçam em dados de treinamento, para limitar a contaminação de benchmark.

Como difere do SWE-bench

O SWE-bench pede a um agente que corrija issues reais em repositórios open source. O Terminal-Bench cobre uma variedade maior de trabalho na linha de comando, da configuração de sistemas a tarefas com dados. Os dois são úteis na escolha de um coding agent; nenhum substitui testar o agente nos seus próprios projetos em um sandbox seguro.

Termos relacionados

SWE-bench
O SWE-bench é um benchmark de código construído a partir de issues reais do GitHub em projetos Python populares; um modelo ou agente precisa editar o repositório para que a issue seja corrigida e os testes ocultos do projeto passem.
Agente de programação
Um agente de programação (coding agent) é um agente de IA que trabalha diretamente no software: lê uma base de código, edita arquivos, roda comandos e testes, e repete até que uma mudança funcione, em vez de apenas sugerir código para uma pessoa colar.
Harness de agente
Um harness de agente (a estrutura de execução ao redor do modelo) é o software que transforma um modelo em um agente funcional: o loop, as ferramentas, o prompt de sistema, as permissões, o gerenciamento de contexto e quaisquer arquivos usados para levar o progresso de uma sessão para outra.
Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Sandbox de agente
Um sandbox de agente é um ambiente isolado, como um contêiner, uma máquina virtual ou uma restrição do sistema operacional, em que um agente de IA executa código e comandos sem conseguir alcançar arquivos, redes ou dados fora de limites definidos.

Fontes