Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Rating Elo (arenas de modelos)

Um rating Elo, em arenas de modelos, é uma pontuação calculada a partir de muitos votos em confrontos diretos entre pares de modelos, de modo que a diferença entre duas pontuações prevê com que frequência a resposta de um modelo será preferida à do outro.

Também chamado: arena score, Bradley-Terry, Elo score, Bradley-Terry model

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O sistema Elo foi criado para ranquear jogadores de xadrez a partir dos resultados das partidas. As arenas de modelos o adotaram porque seus dados têm a mesma forma: dois modelos respondem a um prompt, uma pessoa escolhe a melhor resposta, e o resultado conta como vitória, derrota ou empate.

Como funciona

Cada modelo recebe um número. Se um modelo com rating alto vence um com rating baixo, as duas pontuações mudam um pouco; uma zebra as faz mudar mais. Ao longo de milhares de votos, os números se estabilizam de forma que a diferença entre duas pontuações corresponde a uma taxa de vitória esperada.

Elo vs Bradley-Terry

O Elo clássico atualiza as pontuações uma partida por vez, então a ordem das partidas afeta o resultado. Isso serve para jogadores cuja habilidade muda com o tempo, mas uma versão de modelo não muda. O artigo do Chatbot Arena explica que o leaderboard passou das pontuações Elo para coeficientes de Bradley-Terry, um modelo estatístico de comparações em pares ajustado a todos os votos de uma vez, porque eles são melhores para estimação estatística. O artigo descreve a probabilidade de um modelo vencer outro como uma função logística da diferença entre seus coeficientes e informa intervalos de confiança para cada pontuação. Leaderboards como o LMArena ainda chamam o resultado de arena score ou rating no estilo Elo.

Como ler

O número absoluto não significa nada sozinho; só as diferenças importam, e apenas dentro do mesmo leaderboard. Olhe o intervalo de confiança: dois modelos cujos intervalos se sobrepõem não estão ordenados de forma confiável. Os ratings também dependem de quem vota e do que pergunta, então uma pontuação de arena reflete a preferência geral em chat, não o desempenho na sua tarefa. Combine-a com um benchmark de IA específico para a tarefa e com sua própria avaliação humana.

Termos relacionados

Leaderboard (IA)
Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.
LMArena
O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.
Avaliação humana
Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.
Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.

Fontes