Was ist DeepEval?
DeepEval ist ein Open-Source-Framework, um LLM-Anwendungen im Stil von pytest zu testen: Du schreibst Testfälle mit Eingaben und Ausgaben und prüfst sie gegen Metriken, lokal oder in der CI.
Es liefert Metriken aus mehreren Familien: eigene Judges wie G-Eval und das graphbasierte DAG, RAG-Metriken (Faithfulness, Contextual Recall und Precision), Agenten-Metriken (Task Completion, Tool Correctness, Plan Adherence), Metriken für mehrstufige Dialoge und Sprachagenten sowie Red-Teaming. Die meisten werden von einem LLM-Judge bewertet, im Quickstart von OpenAI, doch jedes Modell lässt sich einbinden. Ein TypeScript-Paket (deepeval auf npm, Version 0.9.23) steht neben dem Python-Paket.
Confident AI, die Firma dahinter, verkauft eine gehostete Plattform für Testergebnisse und Traces aus der Produktion. Das neueste Python-Release auf PyPI ist 4.3.1 vom 16. Oktober 2026.
Lohnt sich DeepEval?
DeepEval ist für ein Python-Team der direkteste Weg, LLM-Prüfungen in eine bestehende Testsuite zu bringen. Tests sehen aus wie pytest, laufen mit deepeval test run in der CI und lassen einen Build scheitern, wenn Faithfulness oder Task Completion unter einen Schwellenwert fällt. Mit rund 19.100 GitHub-Sternen und Releases in den meisten Monaten hat es einen der breitesten Metrikkataloge unter den Open-Source-Eval-Bibliotheken, der inzwischen bis zu Agentenplanung und Sprachanrufen reicht.
Der Haken: Bei den meisten Metriken bewertet ein LLM ein anderes. Der Quickstart setzt OPENAI_API_KEY, standardmä ßig ist also jede Metrik bei jedem Testfall ein bezahlter API-Aufruf, und ein paar hundert Fälle pro Pull Request summieren sich. Die Werte verschieben sich außerdem, wenn sich das Judge-Modell ändert. Die meistdiskutierten offenen Issues spiegeln das: Judges, die ungültiges JSON liefern ('please use a better evaluation model'), Probleme mit Hugging-Face-Modellen als Judges und asynchrone Läufe, die nicht fertig werden.
Telemetrie ist standardmäßig an. Laut Dokumentation sendet DeepEval Ereignisnamen, Metriknamen, eine anonyme ID und deine öffentliche IP-Adresse an PostHog; DEEPEVAL_TELEMETRY_OPT_OUT=1 schaltet das ab, wobei ein offenes Issue mit dem Titel 'Unable to disable telemetry' 12 Kommentare hat. Testdaten gehen nur dann an Confident AI, wenn du dich anmeldest und hochlädst.
Confident AI wird pro Organisation abgerechnet, nicht pro Arbeitsplatz: Free mit zwei Plätzen und fünf Testläufen pro Woche, Starter für 200 $ im Monat, Team für 2.000 $ im Monat mit SSO und SOC 2 und eine individuelle Enterprise-Stufe mit On-Premises-Deployment und HIPAA. Die Bibliothek funktioniert vollständig ohne, doch README und CLI verweisen oft dorthin. Promptfoo deckt Ähnliches über YAML-Konfiguration ab und ist stärker beim Red-Teaming, Ragas ist enger und nur auf RAG ausgerichtet, und Inspect AI passt besser zu Benchmarks auf Modellebene als zu Anwendungstests.
Wo es sich lohnt
Ein Backend-Team, das einen RAG-Support-Bot auf einem Python-Stack ausliefert
Merges blockieren, wenn die Faithfulness der Antworten sinkt
Ergänze die bestehende pytest-Suite um Tests für Faithfulness und Contextual Recall und führe sie bei jedem Pull Request aus. Die Bibliothek ist kostenlos, die Judge-Aufrufe nicht, daher lassen viele Teams den vollen Satz nachts laufen und pro PR eine Stichprobe.
Ein ML-Engineer, der einen Agenten mit Tool-Aufrufen baut
Prüfen, dass der Agent die richtigen Werkzeuge mit den richtigen Argumenten aufruft
Tool Correctness und Argument Correctness vergleichen Aufrufe mit den erwarteten, während Task Completion und Plan Adherence einen LLM-Judge nutzen. Ein günstigerer oder lokaler Judge senkt die Kosten, sollte aber zuerst an ein paar menschlichen Labels geprüft werden.
Eine Head of AI in einer Softwarefirma mit 40 Leuten
Entscheiden, ob sich ein gehostetes Eval-Dashboard lohnt
Confident AI Starter kostet pauschal 200 $ im Monat mit unbegrenzten Plätzen und 5 GB-Monaten an Traces, danach 1 $ pro GB-Monat; SSO und SOC 2 beginnen bei Team für 2.000 $ im Monat. Ergebnisse als CI-Artefakte zu behalten kostet nichts, verliert aber Verlauf und Trace-Clustering.
Bevor du dich festlegst
- Einrichtung
- pip install -U deepeval (Python 3.9 oder neuer), OPENAI_API_KEY setzen oder ein anderes Judge-Modell konfigurieren, eine Testdatei mit einer Metrik schreiben und deepeval test run ausführen.
- Integrationen
- pytest und CI; Tracing für LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI, OpenAI Agents, Google ADK, AWS AgentCore, Strands, das Vercel AI SDK und Mastra; eigene Judge-Modelle; optionaler Upload zu Confident AI.
- Daten und Datenschutz
- Läuft lokal. Telemetrie (Ereignis- und Metriknamen, anonyme ID, öffentliche IP) geht an PostHog, außer bei DEEPEVAL_TELEMETRY_OPT_OUT=1. Testfälle gehen an den Judge-Anbieter, den du konfigurierst. Confident AI speichert Uploads auf AWS; SSO und SOC 2 gibt es mit dem Plan Team.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos; die Judge-Kosten wachsen mit Testfällen mal Metriken mal Läufen. Confident AI: Free (2 Plätze, 5 Testläufe pro Woche), Starter 200 $ im Monat, Team 2.000 $ im Monat, Enterprise individuell mit On-Premises-Deployment.
- Grenzen
- 775 offene Issues und Pull Requests; Judges können fehlerhaftes JSON liefern und Tests scheitern lassen; Werte verschieben sich mit dem Judge-Modell; asynchrone Läufe hängen laut Meldungen.
Was gut ist
- Tests im Stil von pytest, die in der CI laufen
- Breite Metriken: RAG, Agenten, mehrstufige Dialoge und Sprache
- Jedes LLM kann als Judge dienen, auch lokale Modelle
- Pakete für Python und TypeScript
Was nicht
- Die meisten Metriken kosten einen Aufruf des Judge-Modells pro Testfall
- Telemetrie an PostHog standardmäßig an
- Fehlerhafte Judge-Ausgaben sind ein häufiger Fehler
- Dokumentation und CLI lenken zu Confident AI
Am besten für
Python-Teams, die LLM-Anwendungen automatisierte Qualitätsprüfungen hinzufügen.
Alternativen zu DeepEval
DeepEval: häufige Fragen
- Lohnt sich DeepEval?
- Eine fähige Eval-Bibliothek im Stil von pytest, deren eigentliche Kosten die Rechnung für das Judge-Modell sind, mit einer Plattform für 200 $ im Monat am Ende des Trichters. Wir bewerten es mit 4.2 von 5.
- Was kostet DeepEval?
- Kostenlos und Open Source unter der Lizenz Apache 2.0. Die gehostete Plattform von Confident AI ist ein separates, kostenpflichtiges Produkt.
- Welche Nachteile hat DeepEval?
- Die meisten Metriken kosten einen Aufruf des Judge-Modells pro Testfall; Telemetrie an PostHog standardmäßig an; Fehlerhafte Judge-Ausgaben sind ein häufiger Fehler; Dokumentation und CLI lenken zu Confident AI.
- Für wen eignet sich DeepEval?
- Python-Teams, die LLM-Anwendungen automatisierte Qualitätsprüfungen hinzufügen.
- Was kostet DeepEval für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos; die Judge-Kosten wachsen mit Testfällen mal Metriken mal Läufen. Confident AI: Free (2 Plätze, 5 Testläufe pro Woche), Starter 200 $ im Monat, Team 2.000 $ im Monat, Enterprise individuell mit On-Premises-Deployment.
- Ist DeepEval sicher für Firmendaten?
- Läuft lokal. Telemetrie (Ereignis- und Metriknamen, anonyme ID, öffentliche IP) geht an PostHog, außer bei DEEPEVAL_TELEMETRY_OPT_OUT=1. Testfälle gehen an den Judge-Anbieter, den du konfigurierst. Confident AI speichert Uploads auf AWS; SSO und SOC 2 gibt es mit dem Plan Team.
- Was sind die besten Alternativen zu DeepEval?
- Die nächsten Alternativen, die wir getestet haben, sind promptfoo, Ragas und Inspect.
Antworten geprüft am 23. Okt. 2026.