Qu’est-ce que LM Evaluation Harness ?
Le LM Evaluation Harness d'EleutherAI fait tourner des modèles de langage contre plus de 60 benchmarks académiques standards, avec des centaines de sous-tâches et de variantes, comme MMLU, HellaSwag et GSM8K, en utilisant des prompts et un scoring fixes pour que les résultats soient comparables.
Il charge les modèles via Hugging Face Transformers, vLLM, SGLang, GGUF et les serveurs llama.cpp, NVIDIA NeMo et Megatron-LM, ONNX Runtime et d'autres, et appelle des API hébergées dont OpenAI, Anthropic et tout ce qui est derrière LiteLLM. Il a servi de backend à l'Open LLM Leaderboard de Hugging Face, que Hugging Face a retiré en mars 2025 et garde en ligne comme archive en lecture seule, et apparaît dans des centaines d'articles.
La version 0.4.13 a été publiée le 31 août 2026 ; un changement de septembre 2026 laisse enregistrer les backends, métriques et filtres comme plugins depuis votre propre paquet plutôt qu'un fork.
LM Evaluation Harness vaut-il le coup ?
Le harnais mesure les modèles, et parce que tant d'articles et de classements l'utilisent, ses chiffres sont parmi les rares à voyager entre laboratoires. C'est toute sa valeur. C'est l'outil pour vérifier si un fine-tune a abîmé la capacité générale, ou pour comparer deux modèles de base sur les mêmes prompts ; il ne teste pas vos prompts, votre pipeline de récupération ni votre agent.
Le plus grand hic pratique est que les API de chat hébergées ne peuvent pas faire tourner la plupart des benchmarks classiques tels que conçus. Le README liste OpenAI ChatCompletions, Anthropic et LiteLLM comme génération seule sans logprobs, si bien que les tâches de log-vraisemblance comme MMLU à choix multiples ou la perplexité ont besoin de poids locaux ou d'une API qui renvoie les logprobs du prompt. Pour les modèles fermés, les mainteneurs recommandent d'inspecter quelques sorties avec --limit 10 d'abord, car l'extraction de réponses sur les tâches génératives peut échouer silencieusement.
Le projet est devenu plus léger à adopter. Depuis décembre 2025, le paquet de base n'importe plus PyTorch ou Transformers ; vous installez lm_eval[hf], [vllm] ou [api] selon le besoin. Les exécutions multi-GPU fonctionnent via accelerate ou vLLM, mais l'évaluation multi-nœuds n'est pas prise en charge nativement.
L'activité s'est légèrement refroidie : le dernier commit était le 14 septembre 2026 et il y a environ 1 240 issues et pull requests ouvertes. Le format de prompt et les réglages few-shot déplacent les scores, si bien qu'un chiffre du harnais n'est comparable qu'à un autre produit à la même version et avec les mêmes réglages. Pour les évaluations d'agents et de sécurité, les laboratoires se tournent de plus en plus vers Inspect.
Là où il fait la différence
Un ingénieur ML qui fine-tune un modèle 8B sur un seul GPU de 80 Go
Vérifier que le fine-tune n'a pas perdu de capacité générale
Lancez le même ensemble de tâches, par exemple MMLU, HellaSwag et GSM8K, sur les checkpoints de base et réglés avec le backend vllm et --batch_size auto. Cela coûte des heures GPU plutôt que des frais d'API, et --use_cache laisse une exécution interrompue reprendre.
Une équipe de recherche qui publie un nouveau modèle à poids ouverts
Rapporter des chiffres de benchmark que les relecteurs accepteront
Épinglez la version du harnais, enregistrez les réglages few-shot et de template de chat, et poussez les résultats et les logs par échantillon vers un jeu de données Hugging Face avec --hf_hub_log_args pour que d'autres puissent les reproduire.
Un responsable de plateforme IA qui choisit entre deux modèles hébergés pour une décision d'achat
Comparer les fournisseurs sur les benchmarks de raisonnement et de maths
Utilisez les backends openai-chat-completions ou anthropic-chat sur les tâches génératives comme GSM8K. Chaque item de benchmark devient un appel d'API facturé au prix du token du fournisseur, et les tâches de log-vraisemblance à choix multiples ne sont pas disponibles pour ces API.
Avant de vous engager
- Mise en route
- pip install lm-eval (Python 3.10+) plus un extra comme lm_eval[hf] ou lm_eval[vllm] ; une commande lm_eval avec --model, --model_args et --tasks produit un premier score. Les modèles locaux ont besoin d'un GPU dimensionné au modèle ; lm-eval ls tasks liste tout ce qui est disponible.
- Intégrations
- Transformers (avec adaptateurs PEFT et GPTQ), vLLM, SGLang, llama.cpp, NeMo, Megatron-LM, OpenVINO, AWS Neuron, ONNX Runtime et Windows ML ; API OpenAI, Anthropic, Watsonx et LiteLLM ; tout serveur compatible OpenAI. Les résultats peuvent aller vers Weights and Biases, Zeno ou le Hugging Face Hub.
- Données et confidentialité
- Tourne localement ; les données ne partent que lorsque vous appelez une API de modèle hébergé ou poussez les résultats vers le Hub avec votre propre jeton. Certains modèles ont besoin de trust_remote_code, qui exécute le code du dépôt de modèle. Aucun avis de sécurité n'est publié sur le dépôt. Licence MIT.
- Coût à grande échelle
- Logiciel gratuit ; le coût est le temps GPU pour les modèles locaux ou les frais d'API par token pour les hébergés. Une suite complète sur un grand modèle est un travail GPU substantiel, si bien que les équipes font généralement tourner un sous-ensemble fixe par checkpoint et utilisent --limit pour les tests de fumée.
- Limites
- Génération seule pour les API de chat, perplexité non implémentée pour les serveurs llama.cpp, Cohere bloqué sur un bug d'API, et pas d'exécutions multi-nœuds natives. La dérive de score due aux changements de format de prompt signifie que les résultats devraient citer la version utilisée.
Les points forts
- Plus de 60 benchmarks avec des centaines de sous-tâches
- Largement cité, si bien que les scores se comparent entre articles
- Backends de Transformers et vLLM à NeMo, ONNX et LiteLLM
- Système de plugins pour backends et métriques personnalisés sans forker
Les points faibles
- Les API de chat ne peuvent pas faire tourner les tâches de log-vraisemblance comme MMLU standard
- Mesure les modèles, pas votre application
- Pas d'évaluation multi-nœuds native
- Environ 1 240 issues et PR ouvertes
Idéal pour
Les chercheurs et entraîneurs de modèles qui comparent les modèles sur des benchmarks standards.
Alternatives à LM Evaluation Harness
LM Evaluation Harness : questions fréquentes
- LM Evaluation Harness vaut-il le coup ?
- L'étalon commun pour les benchmarks de modèles, et le mauvais instrument pour juger une application construite par-dessus un. Nous lui donnons 4.4 sur 5.
- Combien coûte LM Evaluation Harness ?
- Gratuit et open source sous la licence MIT.
- Quels sont les inconvénients de LM Evaluation Harness ?
- Les API de chat ne peuvent pas faire tourner les tâches de log-vraisemblance comme MMLU standard; mesure les modèles, pas votre application; pas d'évaluation multi-nœuds native; environ 1 240 issues et PR ouvertes.
- À qui s’adresse LM Evaluation Harness ?
- Les chercheurs et entraîneurs de modèles qui comparent les modèles sur des benchmarks standards.
- Combien coûte LM Evaluation Harness pour une équipe ou en production ?
- Logiciel gratuit ; le coût est le temps GPU pour les modèles locaux ou les frais d'API par token pour les hébergés. Une suite complète sur un grand modèle est un travail GPU substantiel, si bien que les équipes font généralement tourner un sous-ensemble fixe par checkpoint et utilisent --limit pour les tests de fumée.
- LM Evaluation Harness est-il sûr pour les données de l’entreprise ?
- Tourne localement ; les données ne partent que lorsque vous appelez une API de modèle hébergé ou poussez les résultats vers le Hub avec votre propre jeton. Certains modèles ont besoin de trust_remote_code, qui exécute le code du dépôt de modèle. Aucun avis de sécurité n'est publié sur le dépôt. Licence MIT.
- Quelles sont les meilleures alternatives à LM Evaluation Harness ?
- Les alternatives les plus proches que nous avons testées sont Inspect, DeepEval et promptfoo.
Réponses vérifiées le 26 oct. 2026.