LLM-as-a-judge
LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
Também chamado: judge model, LLM judge, model-graded eval
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Muitas saídas de IA não podem ser verificadas por correspondência exata: um resumo, uma resposta de suporte, um conselho. A revisão humana é o padrão-ouro, mas é lenta e cara. Um modelo juiz consegue pontuar milhares de saídas rapidamente, o que faz dele um corretor comum na avaliação de LLM.
Como funciona
Você dá ao juiz a entrada, a saída a ser corrigida e as instruções. Os formatos comuns são uma nota única segundo uma rubrica (por exemplo, a resposta é fiel à fonte, de 1 a 5), aprovado ou reprovado em uma regra específica, ou uma escolha em pares entre duas respostas. Pedir ao juiz que explique seu raciocínio antes de dar a nota torna suas decisões mais fáceis de auditar.
Zheng et al. deram nome ao método e o estudaram usando o MT-Bench e a Chatbot Arena. Eles relataram que juízes fortes como o GPT-4 chegaram a mais de 80% de concordância com as preferências humanas, mais ou menos o nível em que os humanos concordam entre si.
Vieses conhecidos
O mesmo artigo documentou problemas que você deve levar em conta no design. Viés de posição: preferir a resposta que vem primeiro. Viés de verbosidade: preferir respostas mais longas. Viés de autofavorecimento: preferir respostas escritas pela própria família de modelos do juiz. Os juízes também têm dificuldade para corrigir matemática e raciocínio que eles mesmos não conseguem fazer. As correções comuns são trocar a ordem das respostas e tirar a média, dar respostas de referência ao juiz e usar uma família de modelos diferente como juiz.
Mantenha pessoas no processo
Confira uma amostra das notas do juiz contra uma avaliação humana antes de confiar nelas, e confira de novo quando mudar o modelo ou o prompt do juiz. Um golden dataset com rótulos humanos torna essa calibração repetível. Frameworks como DeepEval e promptfoo trazem métricas de juiz prontas.
Termos relacionados
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- Avaliação humana
- Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.
- Golden dataset
- Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
- LMArena
- O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.