Avaliação humana
Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.
Também chamado: human raters, blind test, human grading, pairwise preference
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Muitas qualidades que importam, como se uma resposta é útil, bem escrita ou adequada, são difíceis de pontuar com código. A avaliação humana pergunta às pessoas. Ela é a referência com a qual os métodos mais baratos são verificados.
Formatos comuns
Na avaliação absoluta, um avaliador pontua uma saída em uma escala ou rubrica. Na preferência em pares, um avaliador vê duas saídas para o mesmo prompt e escolhe a melhor; isso é mais fácil de fazer de forma consistente. A revisão por especialistas usa profissionais do domínio, como médicos ou advogados, quando avaliadores gerais não conseguem julgar a precisão. Um teste cego esconde qual modelo escreveu cada resposta, para que a marca ou a expectativa não influencie o voto.
Onde aparece
O LMArena coleta votos em pares do público e os transforma em um leaderboard; seus autores relatam que os votos do público concordam bem com os de avaliadores especialistas. O treinamento de modelos também usa preferências humanas, por meio de RLHF. No seu próprio app, um pequeno conjunto de exemplos corrigidos por pessoas é a melhor forma de verificar se um avaliador LLM-as-a-judge concorda com as pessoas antes de você confiar nele.
Limites
O guia de avaliação da Anthropic chama a correção humana de método mais flexível e de maior qualidade, mas lento e caro. Avaliadores discordam, se cansam e mudam de critério com o tempo, então escreva instruções claras, meça a concordância entre avaliadores e misture itens com respostas conhecidas de um golden dataset. Preferência também não é correção: uma resposta confiante e bem formatada pode ganhar um voto e ainda assim estar errada.
Termos relacionados
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- LMArena
- O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
- RLHF
- O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
- Golden dataset
- Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.