Evaluierung

Worauf du achten solltest

Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.

1. 01

   Dein eigener Testdatensatz, keine Rangliste

   Öffentliche Benchmarks wie MMLU oder GSM8K, ausgeführt mit Tools wie dem LM Evaluation Harness, vergleichen Modelle allgemein; über deine Prompts, Dokumente oder Nutzer sagen sie wenig. Die nützlichste Evaluierung sind 50 bis 200 echte Beispiele aus deinem Produkt mit bekannten guten Antworten, ergänzt jedes Mal, wenn ein Bug die Produktion erreicht. Nutze Benchmark-Harnesses, um zu prüfen, dass ein Fine-Tune oder ein Modelltausch die allgemeinen Fähigkeiten nicht beschädigt hat, und deinen eigenen Datensatz für alles andere.

2. 02

   Offline-Tests und Online-Bewertung

   Offline-Evaluierung führt vor dem Ausliefern einen festen Datensatz aus, wie Unit-Tests. Online-Evaluierung bewertet eine Stichprobe echter Produktions-Traces mit denselben Metriken und findet Probleme, die dein Testdatensatz nicht enthält. Plattformen, die beides können (Braintrust, Opik, Arize Phoenix), machen aus einem fehlschlagenden Produktions-Trace einen neuen Testfall; Bibliotheken wie promptfoo, DeepEval und Ragas arbeiten offline, sofern sie nicht mit einem Tracing-Tool kombiniert werden.

3. 03

   Verlässlichkeit von LLM-as-Judge

   Die meisten Qualitätsmetriken lassen ein anderes Modell die Antwort bewerten. Bewerter schwanken zwischen Durchläufen, bevorzugen längere oder selbstsicherere Antworten und kosten pro Bewertung Geld. Prüfe eine Stichprobe der Urteile von Hand, lege Bewertermodell und Prompt fest, damit Werte über die Zeit vergleichbar bleiben, und nimm wo immer die Aufgabe es erlaubt exakte Prüfungen (String-Vergleich, JSON-Schema, Codeausführung).

4. 04

   RAG-Metriken, die Retrieval und Generierung trennen

   Bei Apps mit Retrieval musst du wissen, ob die richtigen Dokumente gefunden wurden (Context Precision und Recall) und ob die Antwort bei ihnen geblieben ist (Faithfulness). Ragas hat diese Definitionen bekannt gemacht; DeepEval, promptfoo und Braintrusts Open-Source-Bibliothek autoevals setzen sie inzwischen ebenfalls um. Ein einzelner Gesamtwert für "Korrektheit" verbirgt, welche Hälfte der Pipeline versagt hat.

5. 05

   Integration in die CI

   Evaluierungen verhindern Regressionen nur, wenn sie bei jeder Änderung an Prompt, Modell oder Retrieval automatisch laufen. promptfoo nutzt eine YAML-Konfiguration und eine CLI, die für CI gebaut sind; DeepEval und Opik lassen sich in pytest einbinden; Inspect und das LM Evaluation Harness laufen als Python- oder CLI-Jobs. Lege pro Metrik einen Schwellenwert fest und lass den Build scheitern, wenn er unterschritten wird, statt hinterher Dashboards zu lesen.

6. 06

   Verwaltung und Versionierung des Testdatensatzes

   Datensätze ändern sich, wenn du Fälle hinzufügst und Labels korrigierst, Ergebnisse sind also nur vergleichbar, wenn du weißt, welche Version des Datensatzes sie erzeugt hat. Gehostete Plattformen speichern Datensätze, Experimente und ihre Unterschiede; dateibasierte Tools verlassen sich darauf, dass du Testfälle in Git hältst. Beides funktioniert, aber entscheide dich, bevor der Datensatz über ein paar hundert Beispiele hinauswächst.

7. 07

   Unterstützung für die Evaluierung von Agenten

   Agenten brauchen mehr als Prüfungen von Ein- und Ausgabe: Haben sie die richtigen Tools aufgerufen, in sinnvoller Reihenfolge, im Budget, ohne unsichere Aktionen? Inspect ist die stärkste offene Option für Agenten-Evaluierungen in einer Sandbox; DeepEval bringt Metriken für Agenten mit. Prüfe, ob das Tool einen ganzen Trace bewerten kann, nicht nur die letzte Nachricht.

8. 08

   Pflege und Lizenz

   Ragas hat seit Januar 2026 kein Release veröffentlicht, und sein Team ist weitergezogen; promptfoo gehört inzwischen OpenAI; Arize Phoenix ist unter der Elastic License 2.0 quelloffen einsehbar, aber nicht Open Source. Das schließt sie nicht aus, zählt aber bei einem Tool, das jahrelang in deiner CI sitzen wird.

16 Tools im Vergleich

Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.

Tools für Evaluierung im Vergleich

Tool	Bewertung	Unser Fazit	Ideal für	Preis
LangfuseRepo	4.6/5	Framework-neutrales LLM-Tracing, das dir komplett gehören kann: Die kostenlose selbst gehostete Version deckt fast alles ab, und die Cloud ist bis auf die einzelne Unit genau bepreist.	Teams, die framework-neutrales Tracing und Evaluation wollen, das sie kostenlos selbst hosten oder als fair bepreisten Cloud-Dienst kaufen können.	Kostenlos und Open Source unter MIT, außer den ee/-Ordnern unter kommerzieller Lizenz. Cloud: Hobby kostenlos (50k Units/Monat); Core 29 $/Monat; Pro 199 $/Monat (Teams-Add-on +300 $); Enterprise 2.499 $/Monat; Mehrverbrauch 8 $ pro 100k Units, über 50M sinkend auf 6 $.
promptfooRepo	4.5/5	promptfoo macht aus LLM-Regressionstests und Red-Team-Scans eine YAML-Datei und einen CI-Befehl; der neue Eigentümer ist der Teil, den man im Auge behalten sollte.	Teams, die LLM-Apps ausliefern und Regressionstests und Sicherheitsscans in der CI wollen.	CLI kostenlos und Open Source (MIT); die Community-Nutzung umfasst Red Teaming bis zu 10.000 Proben im Monat. Enterprise (verwaltete Cloud) und On-Premise auf Angebot.
InspectRepo	4.4/5	Inspect ist das gemeinsame Gerüst staatlicher und unabhängiger KI-Sicherheitstests; Produktteams, die Prompts in CI prüfen, finden darin mehr Framework, als sie brauchen.	Forschende und Sicherheitsteams, die Evaluierungen von Agenten und Fähigkeiten durchführen.	Kostenlos und Open Source unter der MIT-Lizenz.
LM Evaluation HarnessRepo	4.4/5	Der gemeinsame Maßstab für Modell-Benchmarks und das falsche Instrument, um eine darauf gebaute Anwendung zu beurteilen.	Forschende und Modelltrainer, die Modelle auf Standard-Benchmarks vergleichen.	Kostenlos und Open Source unter der MIT-Lizenz.
MLflowRepo	4.4/5	Weiterhin der Standardort für ML-Experimente, jetzt mit kostenlosem LLM-Tracing und Evaluation; sichere den Server ab, bevor ihn jemand anderes erreichen kann.	Python-Teams, die Modelle trainieren und LLM-Funktionen bauen und für beides ein kostenloses, selbst gehostetes System of Record wollen.	Kostenlos und Open Source unter Apache-2.0; du zahlst nur für Server, Datenbank und Objektspeicher. Verwaltetes MLflow auf Databricks hat keinen eigenen Listenpreis und wird über Databricks-Rechenleistung abgerechnet; die Free Edition ist nur für private Nutzung.
BraintrustTool	4.3/5	Braintrust ist für Teams, deren schwierigste Frage lautet, ob die letzte Änderung das Produkt besser gemacht hat, und es rechnet nach Daten statt nach Personen ab, was großen Teams entgegenkommt und Agenten wehtut, die viel protokollieren.	Produktteams, die evaluierungsgetriebene Entwicklung mit gehostetem Tracing wollen und gern für einen verwalteten Dienst zahlen.	Starter kostenlos (1 GB Daten, 10k Bewertungen, 10 $ Modellguthaben, 14 Tage Aufbewahrung, unbegrenzte Nutzer; danach 4 $/GB und 2,50 $ pro 1.000 Bewertungen). Pro 249 $/Monat (5 GB, 50k Bewertungen, 100 $ Modellguthaben, 30 Tage Aufbewahrung; danach 3 $/GB und 1,50 $ pro 1.000 Bewertungen). Enterprise individuell, mit SAML, BAA und selbst gehosteter Data Plane. Startups, die die Kriterien erfüllen, bekommen Pro 6 bis 12 Monate kostenlos.
DeepEvalRepo	4.2/5	Eine fähige Eval-Bibliothek im Stil von pytest, deren eigentliche Kosten die Rechnung für das Judge-Modell sind, mit einer Plattform für 200 $ im Monat am Ende des Trichters.	Python-Teams, die LLM-Anwendungen automatisierte Qualitätsprüfungen hinzufügen.	Kostenlos und Open Source unter der Lizenz Apache 2.0. Die gehostete Plattform von Confident AI ist ein separates, kostenpflichtiges Produkt.
Arize PhoenixRepo	4.2/5	Phoenix hat unter den offenen Tracing-Tools den stärksten Evaluationskreislauf, verpackt in eine Lizenz und einen Eigentümer, über die Rechtsabteilungen reden wollen werden.	Engineers und Data Scientists, die standardbasiertes Tracing mit starkem Evaluationskreislauf wollen, beginnend auf dem Laptop.	Kostenlos selbst zu hosten unter der Elastic License 2.0 (Source-available; kein Hosting als Dienst für andere). Verwaltetes Arize AX: Free (25.000 Spans/Monat, 15 Tage Aufbewahrung, 1 GB); Pro 50 $/Monat (50.000 Spans, 30 Tage, 10 GB); Enterprise nach Vereinbarung.
LangSmithTool	4.2/5	LangSmith bietet das tiefste und ausgereifteste Tracing und Evaluieren für LangGraph-Agenten, verkauft pro Platz zu einem Preis, der kleine Teams mit großen Budgets belohnt.	Teams, die Produktionsagenten auf LangChain oder LangGraph bauen und gehostetes Tracing, Evaluierung und Deployment von einem Anbieter wollen.	Developer kostenlos (1 Platz, 5.000 Basis-Traces pro Monat). Plus 39 $ pro Platz und Monat (10.000 Basis-Traces, danach nach Verbrauch; ein kleines Serverless-Deployment). Enterprise individuell, mit hybriden oder selbst gehosteten Optionen. Basis-Traces werden 14 Tage aufbewahrt, erweiterte Traces 180 Tage.
OpikRepo	4.1/5	Opik verschenkt den ganzen Server unter Apache 2.0 und verkauft den günstigsten gehosteten Plan, aber die selbst gehostete Version hat keine Benutzerkonten und meldet sich standardmäßig beim Hersteller.	Teams, die eine permissiv lizenzierte, selbst hostbare Plattform für Tracing und Evaluierung wollen oder eine günstige gehostete.	Kostenlos und Open Source unter Apache 2.0. Cloud: Free (25.000 Spans/Monat, 60 Tage Aufbewahrung); Pro 19 $/Monat (100.000 Spans, danach 5 $ pro 100.000; Add-on für 400 Tage Aufbewahrung 29 $ pro 100.000 Spans); Enterprise nach Vereinbarung.
Arize AXTool	4.1/5	Arize AX bietet ernsthaftes Agent-Tracing und Evals auf offener Instrumentierung, aber die günstigen Pläne sind schnell ausgeschöpft, und über die Roadmap bestimmt jetzt Dynatrace.	Engineering-Teams mit Agenten in Produktion, die gehostetes Tracing und Evals auf offener, portabler Instrumentierung wollen und einen Enterprise-Vertrag aushandeln können.	AX Free 0 $ (25.000 Spans, 1 GB pro Monat, 15 Tage Aufbewahrung); AX Pro 50 $/Monat (50.000 Spans, 10 GB, 30 Tage Aufbewahrung); Enterprise individuell mit SSO, HIPAA und Self-Hosting. Unbegrenzte Nutzer in jedem Plan.
Datadog LLM ObservabilityTool	4.0/5	Wenn dein Unternehmen ohnehin in Datadog lebt, ist das der vernünftige Ort, um deine Agenten zu beobachten, und die Abrechnung pro Modellaufruf ist fairer, als sie zunächst wirkt.	Engineering-Teams, die schon Datadog betreiben und Agent-Traces neben ihrem Service- und Infrastruktur-Monitoring haben wollen.	Free bis 40K LLM-Spans/Monat mit 15 Tagen Aufbewahrung. Pro ab 160 $/Monat jährlich, 200 $ bei monatlicher Laufzeit oder 240 $ on demand, für 100K LLM-Spans; danach 3,50 $ (jährlich), 4,20 $ (monatlich) oder 5 $ (on demand) pro 10K LLM-Spans. Add-ons für längere Aufbewahrung mit 6,50 $, 8 $ und 9 $ pro 10K Spans im Monat für 30, 60 und 90 Tage aufgeführt. Abgerechnet werden nur LLM-Spans.
TruLensRepo	3.9/5	Eine solide Evaluierungsbibliothek, nativ auf OpenTelemetry gebaut, mit einem Konzern als Eigentümer, gebremst durch eine kleine Community und einen Sog in Richtung Snowflake.	Python-Teams, die RAG-Apps oder Agenten evaluieren, besonders solche, die ihre Daten schon in Snowflake speichern.	Kostenlos und Open Source unter der MIT-Lizenz. Du zahlst für die Judge-Modellaufrufe, die jede Feedback-Funktion macht; Snowflakes gehostete AI Observability ist ein separates Produkt, abgerechnet über Snowflake.
Splunk Agent ObservabilityTool	3.7/5	Galileos kleine Judge-Modelle machen es günstig, jede Agent-Konversation zu bewerten, doch unter Splunk ist daraus ein Enterprise-Kauf mit vorgeschaltetem Vertriebsgespräch geworden.	Große Organisationen, die schon Splunk Observability nutzen und jede Agent-Konversation bewerten sowie unsichere Aktionen zur Laufzeit blockieren wollen.	Agent Observability ab 100 $/Monat pro 1,2M Spans im Jahr, jährlich abgerechnet, mit 500M Luna-Tokens und 5 Luna-Fine-Tuning-Läufen pro Jahr; zusätzliche Luna-Tokens und längere Aufbewahrung nach Angebot. Splunk Observability Cloud Free Edition (bis 15 Hosts, unbefristet) umfasst Agent-Tracing. Galileos alte Tarife Free (5.000 Traces/Monat) und Pro (100 $/Monat bei jährlicher Zahlung, 50.000 Traces) werden nicht mehr veröffentlicht.
W&B WeaveRepo	3.6/5	Lohnt sich einzuschalten, wenn deine Modelle bereits in Weights & Biases liegen; bei 0,10 $ pro Megabyte schwer zu verkaufen an alle, die neu anfangen.	Teams, die Weights & Biases bereits fürs Modelltraining nutzen und LLM-Traces und Evaluierungen am selben Ort wollen.	SDK kostenlos unter Apache 2.0. Gehostet: Free (1 GB Weave-Datenaufnahme pro Monat); Pro ab 60 $ pro Monat (1,5 GB, danach 0,10 $ pro MB); Enterprise individuell (0,20 $ pro MB Mehrverbrauch laut Liste), mit dediziertem Deployment.
RagasRepo	3.4/5	Ihre Metriknamen wurden zum Vokabular der RAG-Evaluierung, aber der Code steht ohne Maintainer da.	Teams mit einer bestehenden Ragas-Suite, die eine Version pinnen und eigene Fixes mittragen können.	Kostenlos und Open Source unter der Apache-2.0-Lizenz. Du bezahlst die API-Aufrufe an das Judge-Modell, die jede Metrik auslöst.

Im direkten Vergleich

Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 19. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.

Wo diese Stufe hingehört

• Mit deinen Dokumenten chatten: Wir würden mit Ragas anfangen.
• Kundensupport-Agent: Wir würden mit DeepEval anfangen.
• Coding-Agent: Wir würden mit Inspect anfangen.
• Recherche und Knowledge Graph: Wir würden mit Ragas anfangen.
• Assistent mit Langzeitgedächtnis: Wir würden mit DeepEval anfangen.
• Pipeline für Bildgenerierung: Wir würden mit promptfoo anfangen.
• Sprachagent: Wir würden mit DeepEval anfangen.
• Dokumentenverarbeitung: Wir würden mit DeepEval anfangen.
• Dein eigenes feinabgestimmtes Modell: Wir würden mit LM Evaluation Harness anfangen.

Quellen für diesen Leitfaden

• promptfoo: evaluating RAG pipelines
• Ragas on GitHub
• DeepEval on GitHub
• Inspect on GitHub
• LM Evaluation Harness on GitHub
• autoevals on GitHub
• Braintrust docs