Die besten Open-Source-Tools für LLM-Evaluierung 2026

Open-Source-Tools für LLM-Evaluierung: Von 7 getesteten Angeboten liegen derzeit promptfoo, Inspect und LM Evaluation Harness vorn. Alle sind nach unserer Bewertung sortiert, mit Preis, unserem Fazit und für wen sie sich eignen.

Von Sheela · Aktualisiert am 2. Nov. 2026 · So testen wir

So ist das Ranking entstanden: nach unserer Bewertung (maximal 5 Punkte), aus Tests auf Grundlage der Preise, Dokumentation und Richtlinien des jeweiligen Produkts sowie unabhängiger Benchmarks, wo es sie gibt, jeweils geprüft an dem im Test genannten Datum. Wir erhalten keine Affiliate-Provisionen.

1
promptfoo
promptfoo macht aus LLM-Regressionstests und Red-Team-Scans eine YAML-Datei und einen CI-Befehl; der neue Eigentümer ist der Teil, den man im Auge behalten sollte.
Am besten für: Teams, die LLM-Apps ausliefern und Regressionstests und Sicherheitsscans in der CI wollen.
Preis: CLI kostenlos und Open Source (MIT); die Community-Nutzung umfasst Red Teaming bis zu 10.000 Proben im Monat. Enterprise (verwaltete Cloud) und On-Premise auf Angebot.
Unseren Test von promptfoo lesen
4.5/5
2
Inspect
Inspect ist das gemeinsame Gerüst staatlicher und unabhängiger KI-Sicherheitstests; Produktteams, die Prompts in CI prüfen, finden darin mehr Framework, als sie brauchen.
Am besten für: Forschende und Sicherheitsteams, die Evaluierungen von Agenten und Fähigkeiten durchführen.
Preis: Kostenlos und Open Source unter der MIT-Lizenz.
Unseren Test von Inspect lesen
4.4/5
3
LM Evaluation Harness
Der gemeinsame Maßstab für Modell-Benchmarks und das falsche Instrument, um eine darauf gebaute Anwendung zu beurteilen.
Am besten für: Forschende und Modelltrainer, die Modelle auf Standard-Benchmarks vergleichen.
Preis: Kostenlos und Open Source unter der MIT-Lizenz.
Unseren Test von LM Evaluation Harness lesen
4.4/5
4
DeepEval
Eine fähige Eval-Bibliothek im Stil von pytest, deren eigentliche Kosten die Rechnung für das Judge-Modell sind, mit einer Plattform für 200 $ im Monat am Ende des Trichters.
Am besten für: Python-Teams, die LLM-Anwendungen automatisierte Qualitätsprüfungen hinzufügen.
Preis: Kostenlos und Open Source unter der Lizenz Apache 2.0. Die gehostete Plattform von Confident AI ist ein separates, kostenpflichtiges Produkt.
Unseren Test von DeepEval lesen
4.2/5
5
e2e
e2e ist das erste agentische Test-Framework, das Modellaufrufe als etwas behandelt, das man loswerden will, und sein Replay-Cache macht Tests in einfachem Englisch in der CI bezahlbar.
Am besten für: Produktteams, die lesbare End-to-End-Tests für Web und Mobil wollen, ohne jeden Selektor von Hand zu pflegen.
Preis: Kostenlos unter Apache-2.0; dein eigenes Modell bezahlst du selbst. Die gehostete Plattform von TesterArmy ist separat: Free (5 Läufe), Hobby 99 $/Monat (250 Läufe), Startup 299 $/Monat (1.000 Läufe), Enterprise individuell.
Unseren Test von e2e lesen
4.0/5
6
TruLens
Eine solide Evaluierungsbibliothek, nativ auf OpenTelemetry gebaut, mit einem Konzern als Eigentümer, gebremst durch eine kleine Community und einen Sog in Richtung Snowflake.
Am besten für: Python-Teams, die RAG-Apps oder Agenten evaluieren, besonders solche, die ihre Daten schon in Snowflake speichern.
Preis: Kostenlos und Open Source unter der MIT-Lizenz. Du zahlst für die Judge-Modellaufrufe, die jede Feedback-Funktion macht; Snowflakes gehostete AI Observability ist ein separates Produkt, abgerechnet über Snowflake.
Unseren Test von TruLens lesen
3.9/5
7
Ragas
Ihre Metriknamen wurden zum Vokabular der RAG-Evaluierung, aber der Code steht ohne Maintainer da.
Am besten für: Teams mit einer bestehenden Ragas-Suite, die eine Version pinnen und eigene Fixes mittragen können.
Preis: Kostenlos und Open Source unter der Apache-2.0-Lizenz. Du bezahlst die API-Aufrufe an das Judge-Modell, die jede Metrik auslöst.
Unseren Test von Ragas lesen
3.4/5