Qu’est-ce que LangWatch Scenario ?
Scenario, de la société d'observabilité LLM LangWatch, teste un agent en lui parlant. Vous décrivez une situation en langage courant ; un UserSimulatorAgent rédige les messages de l'utilisateur, votre agent répond via un unique adaptateur call(), et un JudgeAgent vérifie la conversation selon vos critères à chaque tour puis la conclut par un verdict. Les scripts peuvent mêler messages fixes, messages générés, assertions sur les appels d'outils et résultats d'outils simulés, et un RedTeamAgent remplace l'utilisateur simulé par un attaquant multi-tours avec escalade de type Crescendo.
Les tests tournent comme des tests pytest (Python) ou vitest (TypeScript) ordinaires ; Go est mentionné mais non documenté dans le README. Les agents vocaux se testent via des adaptateurs pour ElevenLabs, OpenAI Realtime, Twilio, Pipecat et Gemini Live, avec audio injecté, bruit de fond et mesures de latence p50 et p95. Un cache_key fait répéter à l'utilisateur simulé les mêmes entrées d'une exécution à l'autre.
Le dépôt compte environ 1 000 étoiles et est sous Apache-2.0. Le simulateur et le juge ont besoin d'une clé LLM (les exemples utilisent par défaut openai/gpt-4.1-mini) ; une clé LangWatch est facultative et ajoute une vue en direct des exécutions.
LangWatch Scenario vaut-il le coup ?
Les évaluations à prompt unique ne voient pas comment les agents échouent. Un agent peut bien répondre à la première question puis oublier une contrainte au quatrième tour, ou appeler le mauvais outil quand l'utilisateur change d'avis. Scenario teste cela en simulant toute la conversation, et sa principale réussite est de la faire ressembler à n'importe quel autre test de la suite : une fonction pytest ou vitest avec une description, une liste de critères pour le juge et un assert sur le résultat.
Le modèle de script est le point fort. Vous pouvez laisser le simulateur en pilote automatique jusqu'à max_turns, ou fixer le premier message, injecter un résultat d'outil simulé, vérifier qu'un outil précis a été appelé puis laisser le LLM poursuivre. Ce mélange garde les tests centrés sur le comportement qui compte pour vous plutôt que sur ce que le simulateur choisit de dire. Le support vocal va plus loin que les concurrents open source, avec des tests d'interruption et des percentiles de latence.
Le hic : deux modèles pilotent chaque test, tous deux coûtent des tokens et tous deux varient. Mettre en cache l'utilisateur simulé avec un cache_key, et envelopper les appels LLM de votre propre agent avec @scenario.cache(), rétablit la reproductibilité, mais un prompt modifié invalide le cache. Même les tests purement vocaux exigent une clé OpenAI, car le simulateur et le juge sont par défaut des modèles de texte. Le projet est petit, environ 1 000 étoiles pour 165 issues ouvertes, et le README contient des erreurs visibles, comme une section vocale qui cite le mauvais nom de paquet.
Le cloud LangWatch est facultatif. Sans clé, les résultats restent dans votre terminal ; avec une clé, l'offre gratuite Developer permet 3 simulations, si bien que les équipes qui veulent un tableau de bord partagé finiront sur Growth à 29 € par siège.
Scenario trouve mieux sa place à côté d'une bibliothèque d'évaluation existante qu'à sa place : Giskard ou DeepEval pour les métriques et les scans, Scenario pour les conversations dont les défauts n'apparaissent qu'au fil de plusieurs tours.
Là où il fait la différence
Un développeur qui crée un agent de réservation pour un groupe de restaurants
S'assurer que l'agent demande toujours le nombre de convives quand un utilisateur change la date en cours de conversation
Écrivez un scénario où l'utilisateur simulé change ses plans au troisième tour, et donnez au juge le critère que le nombre de convives soit confirmé avant la réservation ; lancez-le en CI avec un cache_key pour que les échecs se reproduisent.
Une équipe d'IA vocale dans une start-up de télémédecine de 30 personnes
Vérifier que l'agent téléphonique résiste au bruit de fond et aux interruptions
Utilisez l'adaptateur Twilio ou ElevenLabs, injectez un bruit de café à 0,3 et une interruption en milieu de phrase, et suivez la latence p95 d'une exécution à l'autre ; une clé OpenAI reste nécessaire pour le simulateur et le juge.
Avant de vous engager
- Mise en route
- uv add langwatch-scenario pytest, ou pnpm install @langwatch/scenario vitest ; définissez OPENAI_API_KEY, écrivez un adaptateur avec une seule méthode call() et lancez le fichier de test.
- Intégrations
- pytest et vitest ; LiteLLM et le Vercel AI SDK dans les exemples ; les agents déjà connectés à LangWatch n'ont pas besoin d'adaptateur ; adaptateurs vocaux pour ElevenLabs, OpenAI Realtime, Twilio Media Streams, Pipecat et Gemini Live.
- Données et confidentialité
- S'exécute en local ; les conversations partent chez le fournisseur LLM configuré pour le simulateur et le juge, et vers LangWatch seulement si une LANGWATCH_API_KEY est définie. Le cache se trouve dans ~/.scenario/cache.
- Coût à grande échelle
- La bibliothèque est gratuite ; le coût, ce sont deux LLM par tour et par test. LangWatch Growth coûte 29 € par siège principal et par mois avec 200k événements, puis 5 € par 100k, et chaque étape de simulation compte comme un événement.
- Limites
- max_turns plafonne une conversation ; les adaptateurs vocaux pour LiveKit, Vapi et WebRTC générique sont prévus, pas livrés.
Les points forts
- Tests d'agents multi-tours écrits comme des tests pytest ou vitest ordinaires
- Les scripts mêlent tours fixes et simulés, assertions sur les outils et simulations
- Agent de red teaming avec escalade multi-tours de type Crescendo
- Adaptateurs vocaux avec injection de bruit et percentiles de latence
- Cache pour des exécutions reproductibles
Les points faibles
- Les appels LLM du simulateur et du juge coûtent des tokens à chaque exécution
- Les résultats varient d'une exécution à l'autre sans cache
- Go mentionné mais non documenté
- Petit projet avec 165 issues ouvertes et des erreurs dans le README
Idéal pour
Équipes qui construisent des agents conversationnels ou vocaux et veulent des tests de régression au niveau de la conversation dans leur exécuteur de tests actuel.
Alternatives à LangWatch Scenario
LangWatch Scenario : questions fréquentes
- LangWatch Scenario vaut-il le coup ?
- Scenario est la façon la plus claire d'écrire des tests d'agents multi-tours comme des tests unitaires ordinaires, à condition d'accepter qu'un LLM de chaque côté rende chaque exécution un peu différente et un peu coûteuse. Nous lui donnons 3.9 sur 5.
- Combien coûte LangWatch Scenario ?
- Gratuit et open source (Apache-2.0) ; vous payez les tokens du simulateur et du juge. Cloud LangWatch facultatif : Developer 0 € (50k événements, 3 simulations) ; Growth 29 € par siège principal et par mois avec 200k événements, puis 5 € par 100k.
- Quels sont les inconvénients de LangWatch Scenario ?
- Les appels LLM du simulateur et du juge coûtent des tokens à chaque exécution; les résultats varient d'une exécution à l'autre sans cache; go mentionné mais non documenté; petit projet avec 165 issues ouvertes et des erreurs dans le README.
- À qui s’adresse LangWatch Scenario ?
- Équipes qui construisent des agents conversationnels ou vocaux et veulent des tests de régression au niveau de la conversation dans leur exécuteur de tests actuel.
- Combien coûte LangWatch Scenario pour une équipe ou en production ?
- La bibliothèque est gratuite ; le coût, ce sont deux LLM par tour et par test. LangWatch Growth coûte 29 € par siège principal et par mois avec 200k événements, puis 5 € par 100k, et chaque étape de simulation compte comme un événement.
- LangWatch Scenario est-il sûr pour les données de l’entreprise ?
- S'exécute en local ; les conversations partent chez le fournisseur LLM configuré pour le simulateur et le juge, et vers LangWatch seulement si une LANGWATCH_API_KEY est définie. Le cache se trouve dans ~/.scenario/cache.
- Quelles sont les meilleures alternatives à LangWatch Scenario ?
- Les alternatives les plus proches que nous avons testées sont Giskard, DeepEval, promptfoo et Langfuse.
Réponses vérifiées le 6 nov. 2026.