Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Avaliação humana

Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.

Também chamado: human raters, blind test, human grading, pairwise preference

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Muitas qualidades que importam, como se uma resposta é útil, bem escrita ou adequada, são difíceis de pontuar com código. A avaliação humana pergunta às pessoas. Ela é a referência com a qual os métodos mais baratos são verificados.

Formatos comuns

Na avaliação absoluta, um avaliador pontua uma saída em uma escala ou rubrica. Na preferência em pares, um avaliador vê duas saídas para o mesmo prompt e escolhe a melhor; isso é mais fácil de fazer de forma consistente. A revisão por especialistas usa profissionais do domínio, como médicos ou advogados, quando avaliadores gerais não conseguem julgar a precisão. Um teste cego esconde qual modelo escreveu cada resposta, para que a marca ou a expectativa não influencie o voto.

Onde aparece

O LMArena coleta votos em pares do público e os transforma em um leaderboard; seus autores relatam que os votos do público concordam bem com os de avaliadores especialistas. O treinamento de modelos também usa preferências humanas, por meio de RLHF. No seu próprio app, um pequeno conjunto de exemplos corrigidos por pessoas é a melhor forma de verificar se um avaliador LLM-as-a-judge concorda com as pessoas antes de você confiar nele.

Limites

O guia de avaliação da Anthropic chama a correção humana de método mais flexível e de maior qualidade, mas lento e caro. Avaliadores discordam, se cansam e mudam de critério com o tempo, então escreva instruções claras, meça a concordância entre avaliadores e misture itens com respostas conhecidas de um golden dataset. Preferência também não é correção: uma resposta confiante e bem formatada pode ganhar um voto e ainda assim estar errada.

Termos relacionados

Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
LMArena
O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.
LLM-as-a-judge
LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
RLHF
O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
Golden dataset
Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.

Fontes