Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Artificial Analysis Intelligence Index

O Artificial Analysis Intelligence Index é uma pontuação composta da empresa de benchmarking Artificial Analysis que combina várias avaliações, abrangendo trabalho do conhecimento, programação, ciências e conhecimentos gerais, em um único número para comparar modelos de linguagem.

Também chamado: Artificial Analysis, AA Intelligence Index

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Cada fabricante de modelos escolhe os benchmarks que o favorecem. A Artificial Analysis roda ela mesma o mesmo conjunto de avaliações em muitos modelos e combina os resultados em um único índice, para que os modelos possam ser comparados em uma base comum. Muitas páginas de modelos neste site o citam; veja modelos e rankings.

O que ele inclui

A versão 5.0.1 do índice combina nove avaliações, incluindo o Terminal-Bench 4.0, o HLE-Diamond (um subconjunto do Humanity's Last Exam) e vários testes próprios da empresa sobre trabalho do conhecimento agêntico. A pontuação é uma média ponderada de quatro categorias, Knowledge Work, Coding, Science e General, cada uma valendo 25%. Várias tarefas rodam o modelo como um agente com ferramentas em um sandbox.

Como ler

O índice é principalmente um conjunto baseado em texto e em inglês. A Artificial Analysis mede separadamente o raciocínio visual, a fala e o desempenho multilíngue. A própria empresa diz que, como qualquer métrica, ele tem limites e pode não se aplicar a todos os casos de uso.

O conjunto de avaliações muda entre versões, então uma pontuação de uma versão não pode ser comparada com a de outra. Quando você vir um número do índice em um post de lançamento ou em um leaderboard, verifique a versão. Um único número composto também esconde compromissos: dois modelos com a mesma pontuação podem ser fortes em coisas diferentes, então olhe as pontuações por categoria para o trabalho que importa para você e rode sua própria avaliação de LLM antes de se comprometer.

Termos relacionados

Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Leaderboard (IA)
Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.
Terminal-Bench
O Terminal-Bench é um benchmark para agentes de IA que trabalham em um terminal de linha de comando, em que cada tarefa dá ao agente um ambiente real e é avaliada por testes que verificam se o trabalho foi realmente feito.
Humanity's Last Exam
O Humanity's Last Exam (HLE) é um benchmark de 2.500 questões escritas por especialistas em dezenas de disciplinas, construído para ser muito difícil para modelos de IA, com respostas claras e verificáveis que não podem ser encontradas rapidamente na internet.
Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.

Fontes