Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

LLM-as-a-judge

LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.

Também chamado: judge model, LLM judge, model-graded eval

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Muitas saídas de IA não podem ser verificadas por correspondência exata: um resumo, uma resposta de suporte, um conselho. A revisão humana é o padrão-ouro, mas é lenta e cara. Um modelo juiz consegue pontuar milhares de saídas rapidamente, o que faz dele um corretor comum na avaliação de LLM.

Como funciona

Você dá ao juiz a entrada, a saída a ser corrigida e as instruções. Os formatos comuns são uma nota única segundo uma rubrica (por exemplo, a resposta é fiel à fonte, de 1 a 5), aprovado ou reprovado em uma regra específica, ou uma escolha em pares entre duas respostas. Pedir ao juiz que explique seu raciocínio antes de dar a nota torna suas decisões mais fáceis de auditar.

Zheng et al. deram nome ao método e o estudaram usando o MT-Bench e a Chatbot Arena. Eles relataram que juízes fortes como o GPT-4 chegaram a mais de 80% de concordância com as preferências humanas, mais ou menos o nível em que os humanos concordam entre si.

Vieses conhecidos

O mesmo artigo documentou problemas que você deve levar em conta no design. Viés de posição: preferir a resposta que vem primeiro. Viés de verbosidade: preferir respostas mais longas. Viés de autofavorecimento: preferir respostas escritas pela própria família de modelos do juiz. Os juízes também têm dificuldade para corrigir matemática e raciocínio que eles mesmos não conseguem fazer. As correções comuns são trocar a ordem das respostas e tirar a média, dar respostas de referência ao juiz e usar uma família de modelos diferente como juiz.

Mantenha pessoas no processo

Confira uma amostra das notas do juiz contra uma avaliação humana antes de confiar nelas, e confira de novo quando mudar o modelo ou o prompt do juiz. Um golden dataset com rótulos humanos torna essa calibração repetível. Frameworks como DeepEval e promptfoo trazem métricas de juiz prontas.

Termos relacionados

Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Avaliação humana
Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.
Golden dataset
Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
LMArena
O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.

Fontes