Was ist LM Evaluation Harness?
Die LM Evaluation Harness von EleutherAI lässt Sprachmodelle gegen mehr als 60 akademische Standard-Benchmarks mit Hunderten Teilaufgaben und Varianten laufen, etwa MMLU, HellaSwag und GSM8K, mit festen Prompts und fester Bewertung, damit Ergebnisse vergleichbar sind.
Sie lädt Modelle über Hugging Face Transformers, vLLM, SGLang, GGUF- und llama.cpp-Server, NVIDIA NeMo und Megatron-LM, ONNX Runtime und andere und ruft gehostete APIs auf, darunter OpenAI, Anthropic und alles hinter LiteLLM. Sie diente als Backend für das Open LLM Leaderboard von Hugging Face, das Hugging Face im März 2025 eingestellt hat und als schreibgeschütztes Archiv online hält, und taucht in Hunderten Papers auf.
Version 0.4.13 erschien am 31. August 2026; eine Änderung vom September 2026 erlaubt es, Backends, Metriken und Filter als Plugins aus dem eigenen Paket zu registrieren statt über einen Fork.
Lohnt sich LM Evaluation Harness?
Die Harness misst Modelle, und weil so viele Papers und Leaderboards sie nutzen, gehören ihre Zahlen zu den wenigen, die zwischen Labors vergleichbar sind. Darin liegt ihr ganzer Wert. Sie ist das Werkzeug, um zu prüfen, ob ein Fine-Tune die allgemeinen Fähigkeiten beschädigt hat, oder um zwei Basismodelle mit denselben Prompts zu vergleichen; deine Prompts, deine Retrieval-Pipeline oder deinen Agenten testet sie nicht.
Der größte praktische Haken ist, dass gehostete Chat-APIs die meisten klassischen Benchmarks nicht wie vorgesehen ausführen können. Das README führt OpenAI ChatCompletions, Anthropic und LiteLLM als reine Generierung ohne Logprobs, Log-Likelihood-Aufgaben wie Multiple-Choice-MMLU oder Perplexität brauchen also lokale Gewichte oder eine API, die Prompt-Logprobs zurückgibt. Für geschlossene Modelle empfehlen die Maintainer, zuerst mit --limit 10 ein paar Ausgaben zu prüfen, weil die Antwortextraktion bei generativen Aufgaben stillschweigend scheitern kann.
Das Projekt ist leichter einzuführen geworden. Seit Dezember 2025 zieht das Basispaket weder PyTorch noch Transformers mehr nach sich; du installierst je nach Bedarf lm_eval[hf], [vllm] oder [api]. Läufe auf mehreren GPUs funktionieren über accelerate oder vLLM, Evaluation über mehrere Knoten wird aber nicht nativ unterstützt.
Die Aktivität hat sich etwas abgekühlt: Der letzte Commit erfolgte am 14. September 2026, und es gibt rund 1.240 offene Issues und Pull Requests. Prompt-Format und Few-Shot-Einstellungen verschieben die Ergebnisse, eine Zahl aus der Harness ist also nur mit einer anderen vergleichbar, die mit derselben Version und denselben Einstellungen entstanden ist. Für Agenten- und Sicherheitsevaluationen greifen Labors zunehmend zu Inspect.
Wo es sich lohnt
Ein ML-Engineer, der ein 8B-Modell auf einer GPU mit 80 GB feinabstimmt
Prüfen, dass der Fine-Tune keine allgemeinen Fähigkeiten verloren hat
Lass denselben Aufgabensatz, etwa MMLU, HellaSwag und GSM8K, auf dem Basis- und dem abgestimmten Checkpoint mit dem vllm-Backend und --batch_size auto laufen. Das kostet GPU-Stunden statt API-Gebühren, und mit --use_cache lässt sich ein unterbrochener Lauf fortsetzen.
Ein Forschungsteam, das ein neues Modell mit offenen Gewichten veröffentlicht
Benchmark-Zahlen berichten, die Gutachter akzeptieren
Schreibe die Version der Harness fest, dokumentiere die Einstellungen für Few-Shot und Chat-Template und lade Ergebnisse sowie Logs pro Beispiel mit --hf_hub_log_args in ein Hugging-Face-Dataset hoch, damit andere sie reproduzieren können.
Eine Leiterin der KI-Plattform, die für eine Beschaffungsentscheidung zwischen zwei gehosteten Modellen wählt
Anbieter auf Benchmarks für Reasoning und Mathematik vergleichen
Nutze die Backends openai-chat-completions oder anthropic-chat für generative Aufgaben wie GSM8K. Jedes Benchmark-Element wird zu einem API-Aufruf, abgerechnet zum Token-Preis des Anbieters, und Multiple-Choice-Aufgaben mit Log-Likelihood sind für diese APIs nicht verfügbar.
Bevor du dich festlegst
- Einrichtung
- pip install lm-eval (Python 3.10+) plus ein Extra wie lm_eval[hf] oder lm_eval[vllm]; ein einziger lm_eval-Befehl mit --model, --model_args und --tasks liefert ein erstes Ergebnis. Lokale Modelle brauchen eine GPU passend zur Modellgröße; lm-eval ls tasks listet alles Verfügbare.
- Integrationen
- Transformers (mit PEFT-Adaptern und GPTQ), vLLM, SGLang, llama.cpp, NeMo, Megatron-LM, OpenVINO, AWS Neuron, ONNX Runtime und Windows ML; die APIs von OpenAI, Anthropic, Watsonx und LiteLLM; jeder OpenAI-kompatible Server. Ergebnisse können an Weights and Biases, Zeno oder den Hugging Face Hub gehen.
- Daten und Datenschutz
- Läuft lokal; Daten verlassen den Rechner nur, wenn du die API eines gehosteten Modells aufrufst oder Ergebnisse mit deinem eigenen Token in den Hub hochlädst. Manche Modelle brauchen trust_remote_code, was Code aus dem Modell-Repo ausführt. Im Repository sind keine Sicherheits-Advisories veröffentlicht. MIT-Lizenz.
- Kosten im großen Maßstab
- Kostenlose Software; die Kosten sind GPU-Zeit bei lokalen Modellen oder API-Gebühren pro Token bei gehosteten. Eine vollständige Suite über ein großes Modell ist ein erheblicher GPU-Job, deshalb lassen Teams meist pro Checkpoint eine feste Teilmenge laufen und nutzen --limit für Smoke-Tests.
- Grenzen
- Bei Chat-APIs nur Generierung, Perplexität für llama.cpp-Server nicht implementiert, Cohere wegen eines API-Fehlers blockiert und keine nativen Läufe über mehrere Knoten. Weil Änderungen am Prompt-Format die Ergebnisse verschieben, sollten Ergebnisse die verwendete Version nennen.
Was gut ist
- Über 60 Benchmarks mit Hunderten Teilaufgaben
- Weit verbreitet zitiert, Ergebnisse sind also über Papers hinweg vergleichbar
- Backends von Transformers und vLLM bis NeMo, ONNX und LiteLLM
- Plugin-System für eigene Backends und Metriken ohne Fork
Was nicht
- Chat-APIs können keine Log-Likelihood-Aufgaben wie Standard-MMLU ausführen
- Misst Modelle, nicht deine Anwendung
- Keine native Evaluation über mehrere Knoten
- Rund 1.240 offene Issues und PRs
Am besten für
Forschende und Modelltrainer, die Modelle auf Standard-Benchmarks vergleichen.
Alternativen zu LM Evaluation Harness
LM Evaluation Harness: häufige Fragen
- Lohnt sich LM Evaluation Harness?
- Der gemeinsame Maßstab für Modell-Benchmarks und das falsche Instrument, um eine darauf gebaute Anwendung zu beurteilen. Wir bewerten es mit 4.4 von 5.
- Was kostet LM Evaluation Harness?
- Kostenlos und Open Source unter der MIT-Lizenz.
- Welche Nachteile hat LM Evaluation Harness?
- Chat-APIs können keine Log-Likelihood-Aufgaben wie Standard-MMLU ausführen; Misst Modelle, nicht deine Anwendung; Keine native Evaluation über mehrere Knoten; Rund 1.240 offene Issues und PRs.
- Für wen eignet sich LM Evaluation Harness?
- Forschende und Modelltrainer, die Modelle auf Standard-Benchmarks vergleichen.
- Was kostet LM Evaluation Harness für ein Team oder im Produktivbetrieb?
- Kostenlose Software; die Kosten sind GPU-Zeit bei lokalen Modellen oder API-Gebühren pro Token bei gehosteten. Eine vollständige Suite über ein großes Modell ist ein erheblicher GPU-Job, deshalb lassen Teams meist pro Checkpoint eine feste Teilmenge laufen und nutzen --limit für Smoke-Tests.
- Ist LM Evaluation Harness sicher für Firmendaten?
- Läuft lokal; Daten verlassen den Rechner nur, wenn du die API eines gehosteten Modells aufrufst oder Ergebnisse mit deinem eigenen Token in den Hub hochlädst. Manche Modelle brauchen trust_remote_code, was Code aus dem Modell-Repo ausführt. Im Repository sind keine Sicherheits-Advisories veröffentlicht. MIT-Lizenz.
- Was sind die besten Alternativen zu LM Evaluation Harness?
- Die nächsten Alternativen, die wir getestet haben, sind Inspect, DeepEval und promptfoo.
Antworten geprüft am 26. Okt. 2026.