KI-Apps testen und KI Ihre Software testen lassen: die Schichten, die Werkzeuge und was sie kosten

Von Sheela · 6. Nov. 2026

Testen läuft heute in zwei Richtungen. Wer eine KI-Funktion ausliefert, braucht Tests für etwas, das jedes Mal eine etwas andere Antwort gibt. Wer gewöhnliche Software ausliefert, bekommt von KI-Werkzeugen inzwischen das Angebot, die Tests zu schreiben und zu pflegen. Beide Märkte sind überfüllt, beide haben Preismodelle, die die echte Rechnung verbergen, und beide haben einen Fehlerfall, der wie ein grüner Build aussieht. Hier steht, wie man über die Schichten nachdenkt, welches der 16 von uns besprochenen Werkzeuge zu welcher Aufgabe passt und ein Start-Setup, das eine Teamleitung vertreten kann.

Die Karte: zwei Aufgaben, sieben Schichten

Die meiste Verwirrung entsteht, wenn man Werkzeuge vergleicht, die verschiedene Aufgaben erledigen. Eine RAG-Metrikbibliothek und ein Browser-Agent nennen sich beide "KI-Testing", und keines ersetzt das andere. Sortieren Sie zuerst die Arbeit.

Eine KI-App oder einen Agenten zu testen hat vier Schichten:

Evals: feste Eingaben, bewertete Ausgaben. Bleibt die Antwort bei den Quellen, geht der Tool-Aufruf an die richtige Funktion. Das ist Ihr Unit-Test.
Simulierte Gespräche: ein zweites Modell spielt über mehrere Runden den Nutzer, denn Agenten scheitern in Runde vier, nicht in Runde eins.
Red-Team-Regression: generierte Angriffe (Prompt-Injection, Datenlecks, schädliche Ausgaben), die bei jeder Änderung erneut laufen, damit ein geschlossenes Loch geschlossen bleibt.
Bewertung in Produktion: dieselben Bewerter laufen über echte Traces, und schlechte Antworten echter Nutzer werden zu neuen Testfällen.

KI, die gewöhnliche Software testet, hat drei:

Aufzeichnen und Abspielen für Backends: echte API-Aufrufe und die Datenbankantworten dahinter erfassen und als Tests wieder abspielen.
Aufzeichnen und Abspielen für Frontends: echte Sitzungen erfassen und vergleichen, wie die Bildschirme vor und nach einer Änderung aussehen.
Browser-Agenten: eine KI, die End-to-End-Tests plant, schreibt, ausführt und repariert, entweder in Ihrem Repository oder in der Cloud eines Anbieters.

Ihre KI-App testen

Evals: die Schicht, die zuerst kommt

promptfoo (4,5) ist der kürzeste Weg von keinen LLM-Tests zu Tests in CI: eine YAML-Datei mit Prompts, Anbietern und Assertions und ein Befehl, der eine Vergleichsmatrix zeigt. Es braucht Node.js 22.22 oder neuer. Ein Punkt zum Abwägen: Am 9. März 2026 kündigte OpenAI an, promptfoo zu übernehmen, und das Unternehmen sagt inzwischen, es sei Teil von OpenAI. Es bleibt unter MIT-Lizenz und unterstützt andere Anbieter, aber manche Teams wollen ihren Bewerter nicht im Besitz eines Anbieters wissen, den sie bewerten.

DeepEval (4,2) passt zu Python-Teams, die Evals in ihrer bestehenden Testsuite haben wollen. Die Tests sehen aus wie pytest, laufen mit deepeval test run und lassen den Build scheitern, wenn Faithfulness oder Aufgabenerfüllung unter einen Schwellenwert fällt. Sein Metrikkatalog gehört zu den breitesten im Open-Source-Bereich und reicht bis zur Agentenplanung und zu Sprache.

Giskard (4,0) vereint deterministische Prüfungen, von LLMs beurteilte Prüfungen, die Erzeugung von RAG-Testsets und einen Red-Team-Scan in einer Apache-2.0-Bibliothek. Version 3 ist eine Neuentwicklung, die Python 3.12 oder neuer braucht und den Scan für tabellarische Modelle streicht, auf den sich v2-Nutzer verlassen haben.

Zwei, die Sie vielleicht schon haben. Ragas (3,4) hat der RAG-Evaluierung ihr Vokabular gegeben (Faithfulness, Context Precision) und kommt immer noch auf etwa 1,05 Millionen PyPI-Downloads im Monat, aber seit dem 24. Februar 2026 hat niemand mehr etwas committet. Lassen Sie es laufen, wenn es funktioniert; neue Projekte sollten nicht darauf aufbauen. Inspect (4,4) vom UK AI Security Institute ist das Werkzeug, das staatliche KI-Sicherheitsinstitute nutzen, mit mehr als 200 fertigen Evals. Für Benchmarks auf Modellebene ist es richtig, für ein Produktteam, das Prompts in CI prüft, ist es mehr Framework als nötig.

Simulierte Gespräche

Evals mit einem einzigen Prompt übersehen den Agenten, der die erste Frage gut beantwortet und drei Runden später eine Vorgabe vergisst. LangWatch Scenario (3,9) testet das, indem es mit Ihrem Agenten spricht: Ein Modell spielt den Nutzer, ein anderes beurteilt jede Runde, und das Ganze läuft als gewöhnlicher pytest- oder vitest-Test. Sie können die erste Nachricht festlegen, ein simuliertes Tool-Ergebnis einspeisen, prüfen, dass ein bestimmtes Tool aufgerufen wurde, und den Simulator weitermachen lassen. Auch Sprachagenten sind abgedeckt, mit eingespeistem Störgeräusch und p50- und p95-Latenz. Es ist ein kleines Projekt, etwa 1.000 Sterne bei 165 offenen Issues, und es gehört eher neben eine Eval-Bibliothek als an ihre Stelle.

Red-Team-Regression in CI

Ein Red-Team-Scan, der einmal vor dem Start läuft, ist ein Audit. Läuft er bei jedem Pull Request erneut, wird er zum Regressionstest. promptfoo erzeugt Angriffe für Prompt-Injection, Jailbreaks und Datenabfluss; standardmäßig läuft diese Erzeugung auf seinem gehosteten Dienst, und die kostenlose Community-Stufe begrenzt Red Teaming auf 10.000 Proben im Monat. Der Scan von Giskard schreibt eine Angriffssuite aus einer Beschreibung in Alltagssprache, was Ihr Agent tun und lassen soll, zugeordnet zu den OWASP LLM Top 10. Der RedTeamAgent von Scenario ersetzt den höflichen simulierten Nutzer durch einen Angreifer, der über mehrere Runden eskaliert, was echten Jailbreaks näher kommt als ein einzelner feindseliger Prompt.

Bewertung in Produktion

Tests vor dem Release decken nur die Eingaben ab, an die Sie gedacht haben. Braintrust (4,3) ist um die Frage gebaut, ob die letzte Änderung etwas verbessert hat: Experimente, Datensätze und Online-Bewertung teilen sich ein Datenmodell, sodass eine schlechte Antwort aus der Produktion mit wenigen Klicks zum Testfall wird und derselbe Bewerter in CI und auf Live-Traffic läuft. Langfuse (4,6) ist der Open-Source-Weg, mit Tracing, Datensätzen, Experimenten und LLM-as-Judge-Bewertung in einer kostenlosen selbst gehosteten Ausgabe, um den Preis, Postgres, ClickHouse, Redis und Objektspeicher selbst zu betreiben.

KI Ihre Software testen lassen

Aufzeichnen und Abspielen

Keploy (4,0) ist für das Backend ohne Tests. Sie starten Ihren Dienst unter keploy record, klicken sich durch die Abläufe, und es erfasst die API-Aufrufe zusammen mit dem PostgreSQL-, MySQL-, MongoDB-, Redis-, Kafka- oder RabbitMQ-Verkehr, den sie ausgelöst haben. keploy test spielt die Anfragen ab und liefert die aufgezeichneten Abhängigkeiten als Mocks, sodass CI keine Testdatenbank braucht. Unter Linux geschieht das mit eBPF, also ohne Codeänderung, aber mit Root und Kernel 5.10 oder neuer; die nativen Builds für macOS und Windows spielen nur HTTP, MySQL und MongoDB zuverlässig ab.

Meticulous (3,7) macht dasselbe für Frontends. Ein Aufzeichnungsskript in Staging- oder Preview-Builds erfasst Sitzungen und die Backend-Antworten, die sie erhalten haben; bei jedem Pull Request spielt es sie gegen den alten und den neuen Code ab und gruppiert die Bildschirme, die anders aussehen. Sie prüfen eine Liste visueller Änderungen, statt Testcode zu schreiben. Geprüft wird, wie der Bildschirm aussieht, nicht ob die Bestellung in Ihrer Datenbank angekommen ist.

Browser-Agenten

Das ist die vollste Ecke, und die vier Optionen unterscheiden sich vor allem darin, wem die Tests gehören und wer sie ausführt.

Playwright Test Agents (4,1) kommen kostenlos mit Playwright. Ein Planer erkundet Ihre App und schreibt einen Testplan in Markdown, ein Generator macht daraus Playwright-Tests in Ihrem Repository, und ein Healer repariert fehlschlagende Tests einzeln. Sie laufen in dem Coding-Agenten, den Sie schon nutzen (VS Code, Claude Code, Codex oder opencode), und rufen Playwright MCP (4,7) auf, um den Browser zu steuern. Das Ergebnis ist gewöhnlicher Playwright-Code ohne Anbieter dazwischen.

Momentic (4,0) lässt Sie einen Test als Satz schreiben, speichert ihn als YAML in Ihrem Repository und führt ihn in gehosteten Browsern, Android-Emulatoren oder iOS-Simulatoren aus. Wenn ein Button verrutscht, findet Auto-Heal ihn wieder und schlägt eine Änderung zur Prüfung vor.

TestSprite (3,7) sitzt hinter Ihrem Coding-Agenten: Es liest den Code oder ein Anforderungsdokument, schreibt Frontend- und Backend-Tests, führt sie in seiner Cloud aus und liefert ein Fehlerpaket mit Screenshots, der Seitenstruktur und einem Korrekturvorschlag zurück.

QA Wolf (4,1) verkauft die Aufgabe statt des Werkzeugs. Seine Agenten schreiben und führen Playwright- und Appium-Tests aus, entscheiden, ob ein Fehler ein veralteter Test oder ein echter Bug ist, und legen Bugs mit Video in Linear oder Jira an; im verwalteten Tarif sehen sich menschliche QA-Ingenieure jeden Fehler innerhalb von 24 Stunden an. Der Code lässt sich exportieren.

Eine Warnung zu KI-generierten Unit-Tests. Qodo (3,8), das Unternehmen, das früher CodiumAI hieß und zuerst für das Generieren von Tests bekannt war, hat diesen Herbst seinen Befehl zur Testgenerierung ohne Ersatz eingestellt und verkauft jetzt Pull-Request-Reviews. Coding-Agenten schreiben auf Anfrage bereitwillig Unit-Tests; das Risiko ist, dass ein aus dem Code geschriebener Test prüft, was der Code tut, nicht was er tun sollte. Lassen Sie die Assertion von einem Menschen schreiben oder freigeben.

Welches Werkzeug für welche Aufgabe

Aufgabe	Anfangen mit	Unsere Bewertung	Was es kostet
Regressionstests für Prompts und RAG in CI	promptfoo oder DeepEval	4,5 / 4,2	Kostenlos; Sie zahlen Tokens für Bewerter und Modell
Prüfungen, RAG-Fragen und Red-Team-Scan in einer Python-Bibliothek	Giskard	4,0	Kostenlos; Bewerter-Tokens, standardmäßig gpt-4o-mini
Agentenverhalten über mehrere Runden	LangWatch Scenario	3,9	Kostenlos; zwei LLM-Aufrufe pro Runde und Test
Benchmarks auf Modellebene und Sicherheits-Evals	Inspect	4,4	Kostenlos; Tokens und Sandbox-Rechenzeit
Produktionstraffic bewerten, gehostet	Braintrust	4,3	Kostenlose Stufe; Pro 249 $ im Monat
Tracing und Evals, die Sie selbst hosten	Langfuse	4,6	Selbst gehostet kostenlos; Cloud ab 29 $ im Monat
Backend ohne Tests	Keploy	4,0	Kostenlose CLI; Pro 19 $ pro Nutzer und Monat
Visuelle Regressionen in einem lebhaften Frontend	Meticulous	3,7	Nicht veröffentlicht
Eigene End-to-End-Tests, schon auf Playwright	Playwright Test Agents	4,1	Kostenlos; Tokens des Coding-Agenten
End-to-End-Tests in Alltagssprache, Web und Mobil	Momentic	4,0	50 $ Nutzung kostenlos; Scale 500 $ im Monat
Ein Coding-Agent, der seine eigene Arbeit im Browser prüft	TestSprite	3,7	Ab 19 $ im Monat in Credits
End-to-End-Tests an jemand anderen abgeben	QA Wolf	4,1	1 $ pro Web-Lauf, 2 $ pro Mobil-Lauf

Was es wirklich kostet

Fast jedes Open-Source-Eval-Werkzeug ist kostenlos zu installieren und wird beim Ausführen in Tokens bezahlt. DeepEval, Ragas und Giskard bewerten die meisten Metriken mit einem LLM-Bewerter, die Rechnung ist also grob Testfälle mal Metriken mal Läufe. Ein paar hundert Fälle bei jedem Pull Request summieren sich, und Scenario verdoppelt das, weil in jeder Runde ein Simulator und ein Bewerter sprechen. Lassen Sie die volle Suite nachts laufen und einen kleinen Smoke-Satz bei jedem Pull Request.

Gehostete Plattformen messen anders, und der Zähler entscheidet, für wen sie passen. Braintrust berechnet Daten und Bewertungen statt Plätze: Pro für 249 $ im Monat deckt 5 GB und 50.000 Bewertungen ab, danach 1,50 $ pro 1.000 Bewertungen, sodass das Bewerten jeder Produktionsanfrage die am schnellsten wachsende Zeile ist. Langfuses eigenes Rechenbeispiel setzt Pro bei 5 Millionen Einheiten auf 551 $ im Monat. Die Cloud von LangWatch kostet in Growth 29 € pro Platz, und Confident AI, die Plattform hinter DeepEval, springt von Free auf 200 $ im Monat.

Beim Browser-Testing ist die Einheit der Lauf oder der Schritt. QA Wolfs eigenes Beispiel, 50 Web-Tests an jedem Werktag, kommt auf etwa 1.083 $ im Monat, und dieselben Tests bei jedem Pull Request laufen zu lassen, vervielfacht das. Momentic berechnet 0,0125 $ pro normalem Schritt und 0,025 $ für einen Schritt, den die KI erst herausfinden musste; die kostenlosen 50 $ entsprechen etwa 4.000 Schritten, und wenn das Guthaben aufgebraucht ist, pausieren die Tests, statt zu überziehen. TestSprite Starter kostet 19 $ für 400 Credits, aber die Preisseite sagt nirgends, was ein Credit kauft. Keploy Pro enthält 400 Testläufe, danach 0,22 $ pro Lauf. Meticulous veröffentlicht überhaupt keinen Preis; Schätzungen auf Bewertungsseiten reichen von etwa 2.000 $ im Jahr bis 600 $ im Monat.

Wo diese Werkzeuge Sie in die Irre führen

Unzuverlässige Bewerter. Ein Bewerter ist ein Modell und scheitert wie eines. Zu den meistdiskutierten Issues von DeepEval gehören Bewerter, die ungültiges JSON liefern, was den Test aus einem Grund scheitern lässt, der nichts mit Ihrer App zu tun hat. Bewertungen verschieben sich auch, wenn das Bewertermodell wechselt; legen Sie also die Version des Bewerters fest und behandeln Sie ein Bewerter-Update wie ein Abhängigkeits-Update: erst die Basislinie neu laufen lassen, dann vergleichen.
Nichtdeterminismus. Ihre App schwankt, der simulierte Nutzer schwankt, und der Bewerter schwankt. Der cache_key von Scenario lässt den simulierten Nutzer sich wiederholen, aber ein geänderter Prompt macht den Cache ungültig. Messen Sie Erfolgsquoten über mehrere Läufe und schlagen Sie bei einem Rückgang Alarm, statt den Build an einer einzelnen roten Stichprobe scheitern zu lassen.
Selbstheilung, die Bugs versteckt. Die Aufgabe eines Healers ist, einen roten Test grün zu machen, und manchmal ist Rot das richtige Ergebnis. Die Playwright-Dokumentation sagt, der Healer könne entscheiden, dass eine Funktion kaputt ist, und den Test überspringen, was ein beschäftigtes Team für bestanden halten kann. Momentic schlägt Korrekturen zur Prüfung vor, statt sie stillschweigend anzuwenden, und die Agenten von QA Wolf versuchen, veraltete Tests von echten Bugs zu trennen. Was immer Sie kaufen: Lesen Sie jeden geheilten Diff und zählen Sie übersprungene Tests als Fehler.
Aufzeichnungen kennen nur die Vergangenheit. Keploy und Meticulous decken nur ab, was jemand während der Aufzeichnung getan hat, und aufgezeichnete Antworten veralten, wenn sich das Schema ändert. Eine grüne Abspiel-Suite sagt nichts über den Ablauf, den niemand angeklickt hat.
Ihre Daten verlassen das Haus. TestSprite führt Tests in seiner Cloud aus, die Seiten und Screenshots Ihrer App laufen also durch seine Infrastruktur. Der Rekorder von Meticulous erfasst Tastatureingaben und Netzwerkantworten; Passwörter werden standardmäßig geschwärzt, andere personenbezogene Daten brauchen Regeln, die Sie selbst schreiben. Telemetrie ist bei promptfoo, DeepEval, Ragas und Giskard standardmäßig an, und jeder Bewerteraufruf schickt Ihre Test-Prompts an den Anbieter, den Sie konfigurieren.

Ein Start-Setup

Für ein Team mit einer KI-Funktion und einer gewöhnlichen Web-App deckt das den größten Teil des Risikos für kaum mehr als die Tokenkosten ab:

Schreiben Sie 30 bis 50 Eval-Fälle aus echten Nutzerfragen in promptfoo oder DeepEval, mit deterministischen Assertions, wo immer die Antwort es zulässt, und einem LLM-Bewerter nur dort, wo nicht. Lassen Sie sie bei jedem Pull Request laufen, der einen Prompt oder ein Modell berührt.
Nehmen Sie einen Red-Team-Scan (promptfoo oder Giskard) in den nächtlichen Build auf und machen Sie jeden Angriff, der durchkommt, zu einem dauerhaften Testfall.
Wenn die Funktion ein Agent ist, ergänzen Sie drei bis fünf Scenario-Tests für die Gespräche, die schon einmal schiefgegangen sind, mit gecachtem simuliertem Nutzer.
Schicken Sie Produktions-Traces an Langfuse oder Braintrust und übernehmen Sie jede Woche eine Handvoll schlechter Antworten in das Eval-Set.
Für den Rest der App decken Sie die fünf Abläufe ab, die nie brechen dürfen (Registrierung, Bezahlvorgang, der Export, auf den sich ein großer Kunde verlässt), mit Playwright Test Agents, wenn Sie Playwright schon nutzen, sonst mit der kostenlosen Stufe von Momentic. Lassen Sie jeden Plan und jeden geheilten Test von jemandem prüfen.
Setzen Sie die Telemetrie-Opt-outs (PROMPTFOO_DISABLE_TELEMETRY, DEEPEVAL_TELEMETRY_OPT_OUT=1, DO_NOT_TRACK=1) vor dem ersten Lauf, nicht danach.

Der Haken: Jede Schicht hier macht eine Testsuite billiger herzustellen, und keine entscheidet, was richtig bedeutet. Ein Eval-Set, das nur leichte Fragen stellt, besteht, ein Healer, der Assertions umschreibt, besteht, und eine Wiedergabe des Traffics vom letzten Monat besteht. Der teure Teil des Testens war immer die Entscheidung, was geprüft wird, und diese Arbeit bleibt bei Ihrem Team.

Unser Fazit: Behandeln Sie KI beim Testen wie eine schnelle neue Kollegin. Lassen Sie sie die Fälle schreiben, ausführen und Korrekturen vorschlagen, und lassen Sie die Liste dessen, was stimmen muss, und die Freigabe jedes Tests, den sie ändert, bei einem Menschen. Zahlen Sie für einen gehosteten Dienst erst, wenn die Rechnung kleiner ist als die Zeit, die jemand in Ihrem Team damit verbringt, die kostenlose Variante am Leben zu halten.