¿Qué es LM Evaluation Harness?
LM Evaluation Harness, de EleutherAI, somete modelos de lenguaje a más de 60 benchmarks académicos estándar, con cientos de subtareas y variantes, como MMLU, HellaSwag y GSM8K, usando prompts y puntuaciones fijos para que los resultados puedan compararse.
Carga modelos a través de Hugging Face Transformers, vLLM, SGLang, servidores GGUF y llama.cpp, NVIDIA NeMo y Megatron-LM, ONNX Runtime y otros, y llama a APIs alojadas como OpenAI, Anthropic y cualquier cosa detrás de LiteLLM. Fue el backend de Open LLM Leaderboard de Hugging Face, que Hugging Face retiró en marzo de 2025 y mantiene en línea como archivo de solo lectura, y aparece en cientos de artículos.
La versión 0.4.13 se publicó el 31 de agosto de 2026; un cambio de septiembre de 2026 permite registrar backends, métricas y filtros como plugins desde tu propio paquete en lugar de un fork.
¿Merece la pena LM Evaluation Harness?
El harness mide modelos, y como lo usan tantos artículos y clasificaciones, sus cifras están entre las pocas que viajan de un laboratorio a otro. Ese es todo su valor. Es la herramienta para comprobar si un fine-tuning ha dañado la capacidad general o para comparar dos modelos base con los mismos prompts; no prueba tus prompts, tu pipeline de recuperación ni tu agente.
La mayor pega práctica es que las APIs de chat alojadas no pueden ejecutar la mayoría de los benchmarks clásicos tal como se diseñaron. El README indica que OpenAI ChatCompletions, Anthropic y LiteLLM solo generan, sin logprobs, así que las tareas de log-verosimilitud como MMLU de opción múltiple o la perplejidad necesitan pesos locales o una API que devuelva logprobs del prompt. Para modelos cerrados, los mantenedores recomiendan revisar primero unas pocas salidas con --limit 10, porque la extracción de respuestas en tareas generativas puede fallar sin avisar.
El proyecto se ha vuelto más ligero de adoptar. Desde diciembre de 2025, el paquete base ya no arrastra PyTorch ni Transformers; instalas lm_eval[hf], [vllm] o [api] según lo necesites. Las ejecuciones con varias GPU funcionan con accelerate o vLLM, pero la evaluación en varios nodos no está soportada de forma nativa.
La actividad se ha enfriado un poco: el último commit fue el 14 de septiembre de 2026 y hay unas 1.240 incidencias y pull requests abiertas. El formato del prompt y los ajustes few-shot mueven las puntuaciones, así que una cifra del harness solo es comparable con otra obtenida con la misma versión y los mismos ajustes. Para evaluaciones de agentes y de seguridad, los laboratorios recurren cada vez más a Inspect.
Dónde se gana su sitio
Un ingeniero de ML que hace fine-tuning de un modelo de 8B en una GPU de 80 GB
Comprobar que el fine-tuning no ha hecho perder capacidad general
Ejecutar el mismo conjunto de tareas, por ejemplo MMLU, HellaSwag y GSM8K, sobre los checkpoints base y ajustado con el backend vllm y --batch_size auto. Cuesta horas de GPU y no tarifas de API, y --use_cache permite reanudar una ejecución interrumpida.
Un equipo de investigación que publica un nuevo modelo de pesos abiertos
Dar cifras de benchmarks que los revisores acepten
Fijar la versión del harness, anotar los ajustes few-shot y de plantilla de chat, y subir los resultados y los registros por muestra a un dataset de Hugging Face con --hf_hub_log_args para que otros puedan reproducirlos.
Un responsable de plataforma de IA que elige entre dos modelos alojados para una compra
Comparar proveedores en benchmarks de razonamiento y matemáticas
Usar los backends openai-chat-completions o anthropic-chat en tareas generativas como GSM8K. Cada elemento del benchmark se convierte en una llamada a la API facturada al precio por token del proveedor, y las tareas de log-verosimilitud de opción múltiple no están disponibles con estas APIs.
Antes de decidirte
- Puesta en marcha
- pip install lm-eval (Python 3.10 o posterior) más un extra como lm_eval[hf] o lm_eval[vllm]; un solo comando lm_eval con --model, --model_args y --tasks produce una primera puntuación. Los modelos locales necesitan una GPU acorde al modelo; lm-eval ls tasks lista todo lo disponible.
- Integraciones
- Transformers (con adaptadores PEFT y GPTQ), vLLM, SGLang, llama.cpp, NeMo, Megatron-LM, OpenVINO, AWS Neuron, ONNX Runtime y Windows ML; APIs de OpenAI, Anthropic, Watsonx y LiteLLM; cualquier servidor compatible con OpenAI. Los resultados pueden ir a Weights and Biases, Zeno o Hugging Face Hub.
- Datos y privacidad
- Funciona en local; los datos solo salen cuando llamas a una API de modelo alojada o subes resultados a Hub con tu propio token. Algunos modelos necesitan trust_remote_code, que ejecuta código del repositorio del modelo. No hay avisos de seguridad publicados en el repositorio. Licencia MIT.
- Coste a escala
- Software gratuito; el coste es el tiempo de GPU para modelos locales o las tarifas por token de la API para los alojados. Una batería completa sobre un modelo grande es un trabajo de GPU considerable, así que los equipos suelen ejecutar un subconjunto fijo por checkpoint y usar --limit para pruebas rápidas.
- Límites
- Solo generación con las APIs de chat, perplejidad no implementada para servidores llama.cpp, Cohere bloqueado por un fallo de su API y sin ejecuciones nativas en varios nodos. Las puntuaciones varían con los cambios de formato del prompt, así que los resultados deben citar la versión usada.
Lo bueno
- Más de 60 benchmarks con cientos de subtareas
- Muy citado, así que las puntuaciones se comparan entre artículos
- Backends desde Transformers y vLLM hasta NeMo, ONNX y LiteLLM
- Sistema de plugins para backends y métricas propios sin hacer un fork
Lo malo
- Las APIs de chat no pueden ejecutar tareas de log-verosimilitud como el MMLU estándar
- Mide modelos, no tu aplicación
- Sin evaluación nativa en varios nodos
- Unas 1.240 incidencias y PR abiertas
Ideal para
Investigadores y equipos que entrenan modelos y los comparan con benchmarks estándar.
Alternativas a LM Evaluation Harness
LM Evaluation Harness: preguntas frecuentes
- ¿Merece la pena LM Evaluation Harness?
- La vara de medir común para los benchmarks de modelos, y el instrumento equivocado para juzgar una aplicación construida sobre uno. Le damos un 4.4 sobre 5.
- ¿Cuánto cuesta LM Evaluation Harness?
- Gratuito y de código abierto bajo licencia MIT.
- ¿Qué inconvenientes tiene LM Evaluation Harness?
- Las APIs de chat no pueden ejecutar tareas de log-verosimilitud como el MMLU estándar; mide modelos, no tu aplicación; sin evaluación nativa en varios nodos; unas 1.240 incidencias y PR abiertas.
- ¿Para quién es LM Evaluation Harness?
- Investigadores y equipos que entrenan modelos y los comparan con benchmarks estándar.
- ¿Cuánto cuesta LM Evaluation Harness para un equipo o en producción?
- Software gratuito; el coste es el tiempo de GPU para modelos locales o las tarifas por token de la API para los alojados. Una batería completa sobre un modelo grande es un trabajo de GPU considerable, así que los equipos suelen ejecutar un subconjunto fijo por checkpoint y usar --limit para pruebas rápidas.
- ¿Es LM Evaluation Harness seguro para los datos de la empresa?
- Funciona en local; los datos solo salen cuando llamas a una API de modelo alojada o subes resultados a Hub con tu propio token. Algunos modelos necesitan trust_remote_code, que ejecuta código del repositorio del modelo. No hay avisos de seguridad publicados en el repositorio. Licencia MIT.
- ¿Cuáles son las mejores alternativas a LM Evaluation Harness?
- Las alternativas más cercanas que hemos analizado son Inspect, DeepEval y promptfoo.
Respuestas comprobadas el 26 oct 2026.