Was ist LangWatch Scenario?
Scenario vom LLM-Observability-Anbieter LangWatch testet einen Agenten, indem es mit ihm spricht. Du beschreibst eine Situation in Alltagssprache; ein UserSimulatorAgent schreibt die Nachrichten des Nutzers, dein Agent antwortet über einen einzigen call()-Adapter, und ein JudgeAgent prüft das Gespräch in jeder Runde gegen deine Kriterien und beendet es mit einem Urteil. Skripte können feste Nachrichten, generierte Nachrichten, Prüfungen von Tool-Aufrufen und simulierte Tool-Ergebnisse mischen, und ein RedTeamAgent ersetzt den simulierten Nutzer durch einen mehrstufigen Angreifer mit Eskalation im Crescendo-Stil.
Tests laufen als normale pytest-Tests (Python) oder vitest-Tests (TypeScript); Go ist aufgeführt, im README aber nicht dokumentiert. Sprachagenten lassen sich über Adapter für ElevenLabs, OpenAI Realtime, Twilio, Pipecat und Gemini Live testen, mit eingespieltem Audio, Hintergrundgeräuschen und Latenzwerten für p50 und p95. Ein cache_key sorgt dafür, dass der simulierte Nutzer über Läufe hinweg dieselben Eingaben wiederholt.
Das Repository hat rund 1.000 Sterne und steht unter Apache-2.0. Simulator und Juror brauchen einen LLM-Schlüssel (die Beispiele nutzen standardmäßig openai/gpt-4.1-mini); ein LangWatch-Schlüssel ist optional und ergänzt eine Live-Ansicht der Läufe.
Lohnt sich LangWatch Scenario?
Evaluierungen mit einem einzigen Prompt übersehen, wie Agenten scheitern. Ein Agent kann die erste Frage gut beantworten und in Runde vier eine Vorgabe vergessen oder das falsche Tool aufrufen, wenn der Nutzer es sich anders überlegt. Scenario testet das, indem es das ganze Gespräch simuliert, und seine wichtigste Leistung ist, dass das wie jeder andere Test in der Suite aussieht: eine pytest- oder vitest-Funktion mit einer Beschreibung, einer Liste von Kriterien für den Juror und einem assert auf das Ergebnis.
Das Skriptmodell ist der stärkste Teil. Du kannst den Simulator im Autopilot bis max_turns laufen lassen oder die erste Nachricht festlegen, ein simuliertes Tool-Ergebnis einspielen, prüfen, dass ein bestimmtes Tool aufgerufen wurde, und dann das LLM weitermachen lassen. Diese Mischung hält Tests auf das Verhalten fokussiert, das dir wichtig ist, statt auf das, was der Simulator gerade sagt. Die Sprachunterstützung geht weiter als bei Open-Source-Konkurrenten, mit Unterbrechungstests und Latenzperzentilen.
Der Haken: Zwei Modelle treiben jeden Test an, beide kosten Tokens und beide schwanken. Den simulierten Nutzer mit einem cache_key zu cachen und die LLM-Aufrufe deines eigenen Agenten mit @scenario.cache() zu umschließen, stellt die Wiederholbarkeit her, aber ein geänderter Prompt macht den Cache ungültig. Selbst reine Sprachtests brauchen einen OpenAI-Schlüssel, weil Simulator und Juror standardmäßig Textmodelle sind. Das Projekt ist klein, rund 1.000 Sterne bei 165 offenen Issues, und das README hat sichtbare Fehler, etwa einen Sprachabschnitt mit dem falschen Paketnamen.
Die LangWatch-Cloud ist optional. Ohne Schlüssel bleiben die Ergebnisse in deinem Terminal; mit einem erlaubt die kostenlose Developer-Stufe 3 Simulationen, sodass Teams, die ein gemeinsames Dashboard wollen, bei Growth für 29 € pro Platz landen.
Scenario passt am besten neben eine bestehende Evaluierungsbibliothek statt an ihre Stelle: Giskard oder DeepEval für Metriken und Scans, Scenario für die Gespräche, deren Probleme erst über mehrere Runden sichtbar werden.
Wo es sich lohnt
Ein Entwickler, der einen Reservierungsagenten für eine Restaurantgruppe baut
Sicherstellen, dass der Agent weiter nach der Personenzahl fragt, wenn ein Nutzer mitten im Gespräch das Datum ändert
Schreib ein Szenario, in dem der simulierte Nutzer in Runde drei umplant, und gib dem Juror das Kriterium, dass die Personenzahl vor der Buchung bestätigt wird; lass es mit einem cache_key in der CI laufen, damit Fehler reproduzierbar sind.
Ein Voice-AI-Team in einem Telemedizin-Startup mit 30 Mitarbeitenden
Prüfen, ob der Telefonagent mit Hintergrundgeräuschen und Unterbrechungen klarkommt
Nutze den Twilio- oder ElevenLabs-Adapter, spiel Café-Geräusche mit 0,3 und eine Unterbrechung mitten im Satz ein und verfolge die p95-Latenz über mehrere Läufe; für Simulator und Juror wird weiterhin ein OpenAI-Schlüssel gebraucht.
Bevor du dich festlegst
- Einrichtung
- uv add langwatch-scenario pytest oder pnpm install @langwatch/scenario vitest; OPENAI_API_KEY setzen, einen Adapter mit einer einzigen call()-Methode schreiben und die Testdatei ausführen.
- Integrationen
- pytest und vitest; LiteLLM und das Vercel AI SDK in den Beispielen; bereits mit LangWatch verbundene Agenten brauchen keinen Adapter; Sprachadapter für ElevenLabs, OpenAI Realtime, Twilio Media Streams, Pipecat und Gemini Live.
- Daten und Datenschutz
- Läuft lokal; Gespräche gehen an den für Simulator und Juror eingestellten LLM-Anbieter und nur dann an LangWatch, wenn ein LANGWATCH_API_KEY gesetzt ist. Der Cache liegt in ~/.scenario/cache.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos; die Kosten sind zwei LLMs pro Runde und Test. LangWatch Growth kostet 29 € pro Core-Platz im Monat mit 200k Events, danach 5 € pro 100k, und jeder Simulationsschritt zählt als Event.
- Grenzen
- max_turns begrenzt ein Gespräch; Sprachadapter für LiveKit, Vapi und generisches WebRTC sind geplant, nicht veröffentlicht.
Was gut ist
- Mehrstufige Agententests als normale pytest- oder vitest-Tests
- Skripte mischen feste und simulierte Runden, Tool-Prüfungen und Mocks
- Red-Team-Agent mit mehrstufiger Eskalation im Crescendo-Stil
- Sprachadapter mit Geräuscheinspielung und Latenzperzentilen
- Caching für wiederholbare Läufe
Was nicht
- LLM-Aufrufe von Simulator und Juror kosten bei jedem Lauf Tokens
- Ergebnisse schwanken zwischen Läufen, wenn nicht gecacht
- Go aufgeführt, aber nicht dokumentiert
- Kleines Projekt mit 165 offenen Issues und Fehlern im README
Am besten für
Teams, die Chat- oder Sprachagenten bauen und Regressionstests auf Gesprächsebene in ihrem bestehenden Test-Runner wollen.
Alternativen zu LangWatch Scenario
LangWatch Scenario: häufige Fragen
- Lohnt sich LangWatch Scenario?
- Scenario ist der klarste Weg, mehrstufige Agententests als normale Unit-Tests zu schreiben, sofern du akzeptierst, dass ein LLM auf beiden Seiten jeden Lauf etwas anders und etwas teuer macht. Wir bewerten es mit 3.9 von 5.
- Was kostet LangWatch Scenario?
- Kostenlos und Open Source (Apache-2.0); du zahlst die Tokens für Simulator und Juror. Optionale LangWatch-Cloud: Developer 0 € (50k Events, 3 Simulationen); Growth 29 € pro Core-Platz im Monat mit 200k Events, danach 5 € pro 100k.
- Welche Nachteile hat LangWatch Scenario?
- LLM-Aufrufe von Simulator und Juror kosten bei jedem Lauf Tokens; Ergebnisse schwanken zwischen Läufen, wenn nicht gecacht; Go aufgeführt, aber nicht dokumentiert; Kleines Projekt mit 165 offenen Issues und Fehlern im README.
- Für wen eignet sich LangWatch Scenario?
- Teams, die Chat- oder Sprachagenten bauen und Regressionstests auf Gesprächsebene in ihrem bestehenden Test-Runner wollen.
- Was kostet LangWatch Scenario für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos; die Kosten sind zwei LLMs pro Runde und Test. LangWatch Growth kostet 29 € pro Core-Platz im Monat mit 200k Events, danach 5 € pro 100k, und jeder Simulationsschritt zählt als Event.
- Ist LangWatch Scenario sicher für Firmendaten?
- Läuft lokal; Gespräche gehen an den für Simulator und Juror eingestellten LLM-Anbieter und nur dann an LangWatch, wenn ein LANGWATCH_API_KEY gesetzt ist. Der Cache liegt in ~/.scenario/cache.
- Was sind die besten Alternativen zu LangWatch Scenario?
- Die nächsten Alternativen, die wir getestet haben, sind Giskard, DeepEval, promptfoo und Langfuse.
Antworten geprüft am 6. Nov. 2026.