LMArena
O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.
Também chamado: Chatbot Arena, Arena, LMSYS Arena
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
O LMArena surgiu do Chatbot Arena, uma plataforma aberta de pesquisa descrita em um artigo de 2024, e o site agora se apresenta apenas como Arena. Os autores do artigo o chamam de um dos leaderboards mais citados para modelos de linguagem.
Como funciona
No modo batalha, o usuário digita um prompt e recebe respostas de dois modelos anônimos. Ele vota na melhor, e só então os nomes dos modelos são revelados. Esconder os nomes torna o teste cego, para que a marca não influencie o voto. A plataforma transforma muitos desses votos em pares em ratings no estilo Elo e publica leaderboards de texto, código, visão, imagem, vídeo e outras tarefas. O artigo original relatou mais de 240.000 votos na época e concluiu que os votos do público concordavam bem com avaliadores especialistas.
Por que é útil
As notas do Arena refletem o que usuários reais preferem em prompts reais, não um teste fixo que os modelos possam decorar. Isso o torna um complemento útil a benchmarks estáticos como o MMLU. A equipe também publica datasets abertos de preferências humanas e pesquisas sobre métodos como controle de estilo.
Limites
Preferência não é correção. Os votantes podem favorecer respostas mais longas, confiantes ou bem formatadas, e a maioria dos prompts são conversas curtas, não tarefas longas. Os laboratórios podem testar modelos ainda não lançados na plataforma, e pesquisas já analisaram como leaderboards podem ser manipulados. Leia uma posição alta no Arena como "as pessoas gostaram das respostas", e confirme com avaliação humana ou testes no seu próprio caso de uso.
Termos relacionados
- Rating Elo (arenas de modelos)
- Um rating Elo, em arenas de modelos, é uma pontuação calculada a partir de muitos votos em confrontos diretos entre pares de modelos, de modo que a diferença entre duas pontuações prevê com que frequência a resposta de um modelo será preferida à do outro.
- Leaderboard (IA)
- Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.
- Avaliação humana
- Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.