Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Avaliação de LLM

Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.

Também chamado: evals, LLM evals, model evaluation

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Mudar um prompt, trocar de modelo ou acrescentar uma etapa de recuperação pode deixar uma aplicação melhor em uma entrada e pior em outras. As evals são a forma de descobrir isso antes dos usuários. A documentação da Anthropic diz de forma simples: defina primeiro os critérios de sucesso e depois projete avaliações para medir contra eles.

Como funciona

Uma eval tem três partes. Um conjunto de entradas, de preferência tiradas do uso real e incluindo casos-limite, muitas vezes mantido como um golden dataset com respostas de referência. Uma forma de rodar o sistema em cada entrada. E um corretor. Os corretores vão de correspondência exata e verificações por código (o JSON é válido, o teste passa) a pontuações de similaridade, revisão humana e LLM-as-a-judge, em que um segundo modelo pontua a resposta segundo uma rubrica. O guia da Anthropic aconselha estruturar as perguntas para que a correção possa ser automatizada e preferir mais casos de teste a menos casos corrigidos à mão.

Evals de modelo vs evals de aplicação

Benchmarks de IA públicos avaliam modelos em tarefas compartilhadas, o que ajuda a montar uma lista curta. Evals de aplicação usam seus próprios dados, prompts e ferramentas, o que diz se o sistema funciona para os seus usuários. O projeto HELM defendeu medir modelos em muitas métricas ao mesmo tempo, como acurácia, calibração e robustez, e não só a acurácia; a mesma ideia vale para as suas próprias evals.

Na prática

As equipes rodam evals na CI a cada mudança de prompt ou de modelo, uma prática chamada teste de regressão de LLM, e acrescentam como novos casos as falhas encontradas em traces de produção. Entre os frameworks de código aberto estão promptfoo, DeepEval e Ragas. O guia da etapa de avaliação compara as ferramentas. Evals de segurança, em que as entradas são ataques, geralmente são chamadas de red teaming.

Termos relacionados

LLM-as-a-judge
LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Red teaming de IA
Red teaming de IA (AI red teaming) é a prática de atacar deliberadamente um modelo ou uma aplicação de IA antes e depois do lançamento, com testadores humanos ou ferramentas automáticas, para encontrar saídas nocivas, jailbreaks, injeções e outras falhas e corrigi-las.
Golden dataset
Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
Testes de regressão (apps de LLM)
Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.

Fontes