Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Também chamado: evals, LLM evals, model evaluation
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Mudar um prompt, trocar de modelo ou acrescentar uma etapa de recuperação pode deixar uma aplicação melhor em uma entrada e pior em outras. As evals são a forma de descobrir isso antes dos usuários. A documentação da Anthropic diz de forma simples: defina primeiro os critérios de sucesso e depois projete avaliações para medir contra eles.
Como funciona
Uma eval tem três partes. Um conjunto de entradas, de preferência tiradas do uso real e incluindo casos-limite, muitas vezes mantido como um golden dataset com respostas de referência. Uma forma de rodar o sistema em cada entrada. E um corretor. Os corretores vão de correspondência exata e verificações por código (o JSON é válido, o teste passa) a pontuações de similaridade, revisão humana e LLM-as-a-judge, em que um segundo modelo pontua a resposta segundo uma rubrica. O guia da Anthropic aconselha estruturar as perguntas para que a correção possa ser automatizada e preferir mais casos de teste a menos casos corrigidos à mão.
Evals de modelo vs evals de aplicação
Benchmarks de IA públicos avaliam modelos em tarefas compartilhadas, o que ajuda a montar uma lista curta. Evals de aplicação usam seus próprios dados, prompts e ferramentas, o que diz se o sistema funciona para os seus usuários. O projeto HELM defendeu medir modelos em muitas métricas ao mesmo tempo, como acurácia, calibração e robustez, e não só a acurácia; a mesma ideia vale para as suas próprias evals.
Na prática
As equipes rodam evals na CI a cada mudança de prompt ou de modelo, uma prática chamada teste de regressão de LLM, e acrescentam como novos casos as falhas encontradas em traces de produção. Entre os frameworks de código aberto estão promptfoo, DeepEval e Ragas. O guia da etapa de avaliação compara as ferramentas. Evals de segurança, em que as entradas são ataques, geralmente são chamadas de red teaming.
Termos relacionados
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
- Red teaming de IA
- Red teaming de IA (AI red teaming) é a prática de atacar deliberadamente um modelo ou uma aplicação de IA antes e depois do lançamento, com testadores humanos ou ferramentas automáticas, para encontrar saídas nocivas, jailbreaks, injeções e outras falhas e corrigi-las.
- Golden dataset
- Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
- Testes de regressão (apps de LLM)
- Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.