O que é LM Evaluation Harness?
O LM Evaluation Harness da EleutherAI roda modelos de linguagem em mais de 60 benchmarks acadêmicos padrão, com centenas de subtarefas e variantes, como MMLU, HellaSwag e GSM8K, usando prompts e pontuação fixos para que os resultados possam ser comparados.
Ele carrega modelos via Hugging Face Transformers, vLLM, SGLang, servidores GGUF e llama.cpp, NVIDIA NeMo e Megatron-LM, ONNX Runtime e outros, e chama APIs hospedadas, incluindo OpenAI, Anthropic e qualquer coisa atrás do LiteLLM. Ele serviu de backend para o Open LLM Leaderboard do Hugging Face, que o Hugging Face aposentou em março de 2025 e mantém online como arquivo somente leitura, e aparece em centenas de artigos.
A versão 0.4.13 foi publicada em 31 de agosto de 2026; uma mudança de setembro de 2026 permite registrar backends, métricas e filtros como plugins a partir do seu próprio pacote, em vez de um fork.
LM Evaluation Harness vale a pena?
O harness mede modelos, e como tantos artigos e leaderboards o usam, seus números estão entre os poucos que circulam entre laboratórios. Esse é todo o seu valor. É a ferramenta para verificar se um ajuste fino prejudicou a capacidade geral, ou para comparar dois modelos base com os mesmos prompts; ele não testa seus prompts, seu pipeline de recuperação nem seu agente.
O maior porém prático é que APIs de chat hospedadas não conseguem rodar a maioria dos benchmarks clássicos como foram concebidos. O README lista OpenAI ChatCompletions, Anthropic e LiteLLM como somente geração, sem logprobs, então tarefas de log-verossimilhança como o MMLU de múltipla escolha ou a perplexidade exigem pesos locais ou uma API que retorne logprobs do prompt. Para modelos fechados, os mantenedores recomendam inspecionar algumas saídas antes com --limit 10, porque a extração de respostas em tarefas generativas pode falhar em silêncio.
O projeto ficou mais leve de adotar. Desde dezembro de 2025, o pacote base não puxa mais PyTorch nem Transformers; você instala lm_eval[hf], [vllm] ou [api] conforme a necessidade. Execuções com várias GPUs funcionam via accelerate ou vLLM, mas a avaliação em vários nós não é suportada nativamente.
A atividade esfriou um pouco: o último commit foi em 14 de setembro de 2026 e há cerca de 1.240 issues e pull requests abertos. O formato do prompt e as configurações de few-shot mexem nas pontuações, então um número do harness só é comparável com outro produzido na mesma versão e com as mesmas configurações. Para avaliações de agentes e de segurança, os laboratórios recorrem cada vez mais ao Inspect.
Onde ele se destaca
Um engenheiro de ML fazendo ajuste fino de um modelo de 8B em uma GPU de 80 GB
Verificar se o ajuste fino não perdeu capacidade geral
Rodar o mesmo conjunto de tarefas, por exemplo MMLU, HellaSwag e GSM8K, nos checkpoints base e ajustado com o backend vllm e --batch_size auto. Custa horas de GPU em vez de taxas de API, e --use_cache permite retomar uma execução interrompida.
Uma equipe de pesquisa publicando um novo modelo de pesos abertos
Relatar números de benchmark que os revisores aceitem
Fixar a versão do harness, registrar as configurações de few-shot e de chat template e enviar resultados e logs por amostra a um dataset no Hugging Face com --hf_hub_log_args, para que outros possam reproduzi-los.
Uma líder de plataforma de IA escolhendo entre dois modelos hospedados para uma decisão de compra
Comparar fornecedores em benchmarks de raciocínio e matemática
Usar os backends openai-chat-completions ou anthropic-chat em tarefas generativas como o GSM8K. Cada item do benchmark vira uma chamada de API cobrada pelo preço por token do fornecedor, e tarefas de log-verossimilhança de múltipla escolha não estão disponíveis para essas APIs.
Antes de decidir
- Configuração
- pip install lm-eval (Python 3.10+) mais um extra como lm_eval[hf] ou lm_eval[vllm]; um único comando lm_eval com --model, --model_args e --tasks produz uma primeira pontuação. Modelos locais exigem uma GPU dimensionada para o modelo; lm-eval ls tasks lista tudo o que está disponível.
- Integrações
- Transformers (com adaptadores PEFT e GPTQ), vLLM, SGLang, llama.cpp, NeMo, Megatron-LM, OpenVINO, AWS Neuron, ONNX Runtime e Windows ML; APIs da OpenAI, Anthropic, Watsonx e LiteLLM; qualquer servidor compatível com OpenAI. Os resultados podem ir para Weights and Biases, Zeno ou o Hugging Face Hub.
- Dados e privacidade
- Roda localmente; os dados só saem quando você chama uma API de modelo hospedado ou envia resultados ao Hub com seu próprio token. Alguns modelos exigem trust_remote_code, que executa código do repositório do modelo. Nenhum alerta de segurança foi publicado no repositório. Licença MIT.
- Custo em escala
- Software gratuito; o custo é tempo de GPU para modelos locais ou taxas por token de API para os hospedados. Uma suíte completa sobre um modelo grande é um trabalho de GPU considerável, então as equipes costumam rodar um subconjunto fixo por checkpoint e usar --limit para testes rápidos.
- Limites
- Somente geração para APIs de chat, perplexidade não implementada para servidores llama.cpp, Cohere bloqueado por um bug de API e nenhuma execução nativa em vários nós. A variação de pontuação por mudanças no formato do prompt significa que os resultados devem citar a versão usada.
O que é bom
- Mais de 60 benchmarks com centenas de subtarefas
- Amplamente citado, então as pontuações são comparáveis entre artigos
- Backends do Transformers e do vLLM ao NeMo, ONNX e LiteLLM
- Sistema de plugins para backends e métricas personalizados sem fork
O que não é
- APIs de chat não rodam tarefas de log-verossimilhança como o MMLU padrão
- Mede modelos, não a sua aplicação
- Sem avaliação nativa em vários nós
- Cerca de 1.240 issues e PRs abertos
Ideal para
Pesquisadores e quem treina modelos comparando modelos em benchmarks padrão.
Alternativas ao LM Evaluation Harness
LM Evaluation Harness: perguntas frequentes
- LM Evaluation Harness vale a pena?
- A régua comum dos benchmarks de modelos, e o instrumento errado para julgar uma aplicação construída sobre um deles. Damos nota 4.4 de 5.
- Quanto custa LM Evaluation Harness?
- Gratuito e de código aberto sob a licença MIT.
- Quais são as desvantagens de LM Evaluation Harness?
- APIs de chat não rodam tarefas de log-verossimilhança como o MMLU padrão; mede modelos, não a sua aplicação; sem avaliação nativa em vários nós; cerca de 1.240 issues e PRs abertos.
- Para quem LM Evaluation Harness é indicado?
- Pesquisadores e quem treina modelos comparando modelos em benchmarks padrão.
- Quanto custa LM Evaluation Harness para uma equipe ou em produção?
- Software gratuito; o custo é tempo de GPU para modelos locais ou taxas por token de API para os hospedados. Uma suíte completa sobre um modelo grande é um trabalho de GPU considerável, então as equipes costumam rodar um subconjunto fixo por checkpoint e usar --limit para testes rápidos.
- LM Evaluation Harness é seguro para dados da empresa?
- Roda localmente; os dados só saem quando você chama uma API de modelo hospedado ou envia resultados ao Hub com seu próprio token. Alguns modelos exigem trust_remote_code, que executa código do repositório do modelo. Nenhum alerta de segurança foi publicado no repositório. Licença MIT.
- Quais são as melhores alternativas ao LM Evaluation Harness?
- As alternativas mais próximas que analisamos são Inspect, DeepEval e promptfoo.
Respostas verificadas em 26 de out. de 2026.