¿Qué es LangWatch Scenario?
Scenario, de la empresa de observabilidad LLM LangWatch, prueba un agente hablando con él. Describes una situación en lenguaje natural; un UserSimulatorAgent escribe los mensajes del usuario, tu agente responde a través de un único adaptador call(), y un JudgeAgent comprueba la conversación frente a tus criterios en cada turno y la cierra con un veredicto. Los guiones pueden mezclar mensajes fijos, mensajes generados, aserciones sobre llamadas a herramientas y resultados de herramientas simulados, y un RedTeamAgent sustituye al usuario simulado por un atacante de varios turnos con escalada al estilo Crescendo.
Las pruebas se ejecutan como pruebas normales de pytest (Python) o vitest (TypeScript); Go aparece en la lista, pero el README no lo documenta. Los agentes de voz se prueban con adaptadores para ElevenLabs, OpenAI Realtime, Twilio, Pipecat y Gemini Live, con audio inyectado, ruido de fondo y cifras de latencia p50 y p95. Un cache_key hace que el usuario simulado repita las mismas entradas entre ejecuciones.
El repositorio tiene unas 1.000 estrellas y licencia Apache-2.0. El simulador y el juez necesitan una clave de LLM (los ejemplos usan por defecto openai/gpt-4.1-mini); una clave de LangWatch es opcional y añade una vista en directo de las ejecuciones.
¿Merece la pena LangWatch Scenario?
Las evaluaciones de un solo prompt no ven cómo fallan los agentes. Un agente puede responder bien a la primera pregunta y olvidar una restricción en el cuarto turno, o llamar a la herramienta equivocada cuando el usuario cambia de idea. Scenario lo prueba simulando la conversación entera, y su principal logro es que eso parezca una prueba más de la batería: una función de pytest o vitest con una descripción, una lista de criterios para el juez y un assert sobre el resultado.
El modelo de guiones es lo mejor. Puedes dejar que el simulador funcione en piloto automático hasta max_turns, o fijar el primer mensaje, inyectar un resultado de herramienta simulado, comprobar que se llamó a una herramienta concreta y dejar que el LLM continúe. Esa mezcla mantiene las pruebas centradas en el comportamiento que te importa y no en lo que el simulador decida decir. El soporte de voz va más allá que sus rivales de código abierto, con pruebas de interrupción y percentiles de latencia.
La pega: dos modelos mueven cada prueba, y los dos cuestan tokens y los dos varían. Guardar en caché al usuario simulado con un cache_key, y envolver las llamadas LLM de tu propio agente con @scenario.cache(), devuelve la repetibilidad, pero un prompt modificado invalida la caché. Incluso las pruebas solo de voz necesitan una clave de OpenAI, porque el simulador y el juez son modelos de texto por defecto. El proyecto es pequeño, unas 1.000 estrellas con 165 issues abiertos, y el README tiene errores visibles, como una sección de voz que cita el nombre de paquete equivocado.
La nube de LangWatch es opcional. Sin clave, los resultados se quedan en tu terminal; con una, el nivel gratuito Developer permite 3 simulaciones, así que los equipos que quieran un panel compartido acabarán en Growth a 29 € por asiento.
Scenario encaja mejor junto a una biblioteca de evaluación existente que en su lugar: Giskard o DeepEval para métricas y escaneos, Scenario para las conversaciones que solo aparecen a lo largo de varios turnos.
Dónde se gana su sitio
Un desarrollador que crea un agente de reservas para un grupo de restaurantes
Asegurarse de que el agente sigue pidiendo el número de comensales cuando un usuario cambia la fecha a mitad de la conversación
Escribe un escenario en el que el usuario simulado cambia de planes en el tercer turno y da al juez el criterio de que el número de comensales se confirme antes de reservar; ejecútalo en CI con un cache_key para que los fallos se reproduzcan.
Un equipo de IA de voz en una startup de telemedicina de 30 personas
Comprobar que el agente telefónico aguanta ruido de fondo e interrupciones
Usa el adaptador de Twilio o ElevenLabs, inyecta ruido de cafetería a 0,3 y una interrupción a mitad de frase, y sigue la latencia p95 entre ejecuciones; sigue haciendo falta una clave de OpenAI para el simulador y el juez.
Antes de decidirte
- Puesta en marcha
- uv add langwatch-scenario pytest, o pnpm install @langwatch/scenario vitest; define OPENAI_API_KEY, escribe un adaptador con un único método call() y ejecuta el archivo de pruebas.
- Integraciones
- pytest y vitest; LiteLLM y el Vercel AI SDK en los ejemplos; los agentes ya conectados a LangWatch no necesitan adaptador; adaptadores de voz para ElevenLabs, OpenAI Realtime, Twilio Media Streams, Pipecat y Gemini Live.
- Datos y privacidad
- Se ejecuta en local; las conversaciones van al proveedor de LLM configurado para el simulador y el juez, y a LangWatch solo si defines LANGWATCH_API_KEY. La caché está en ~/.scenario/cache.
- Coste a escala
- La biblioteca es gratuita; el coste son dos LLM por turno y por prueba. LangWatch Growth cuesta 29 € por asiento principal al mes con 200k eventos, luego 5 € por 100k, y cada paso de simulación cuenta como un evento.
- Límites
- max_turns limita la conversación; los adaptadores de voz para LiveKit, Vapi y WebRTC genérico están previstos, no publicados.
Lo bueno
- Pruebas de agentes de varios turnos escritas como pruebas normales de pytest o vitest
- Los guiones mezclan turnos fijos y simulados, aserciones sobre herramientas y simulaciones
- Agente de red teaming con escalada de varios turnos al estilo Crescendo
- Adaptadores de voz con inyección de ruido y percentiles de latencia
- Caché para ejecuciones repetibles
Lo malo
- Las llamadas LLM del simulador y del juez cuestan tokens en cada ejecución
- Los resultados varían entre ejecuciones si no usas caché
- Go aparece en la lista pero sin documentar
- Proyecto pequeño con 165 issues abiertos y errores en el README
Ideal para
Equipos que crean agentes de chat o de voz y quieren pruebas de regresión a nivel de conversación en su ejecutor de pruebas actual.
Alternativas a LangWatch Scenario
LangWatch Scenario: preguntas frecuentes
- ¿Merece la pena LangWatch Scenario?
- Scenario es la forma más clara de escribir pruebas de agentes de varios turnos como pruebas unitarias normales, siempre que aceptes que un LLM a cada lado hace que cada ejecución sea un poco distinta y un poco cara. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta LangWatch Scenario?
- Gratuito y de código abierto (Apache-2.0); pagas los tokens del simulador y del juez. Nube opcional de LangWatch: Developer 0 € (50k eventos, 3 simulaciones); Growth 29 € por asiento principal al mes con 200k eventos, luego 5 € por 100k.
- ¿Qué inconvenientes tiene LangWatch Scenario?
- Las llamadas LLM del simulador y del juez cuestan tokens en cada ejecución; los resultados varían entre ejecuciones si no usas caché; go aparece en la lista pero sin documentar; proyecto pequeño con 165 issues abiertos y errores en el README.
- ¿Para quién es LangWatch Scenario?
- Equipos que crean agentes de chat o de voz y quieren pruebas de regresión a nivel de conversación en su ejecutor de pruebas actual.
- ¿Cuánto cuesta LangWatch Scenario para un equipo o en producción?
- La biblioteca es gratuita; el coste son dos LLM por turno y por prueba. LangWatch Growth cuesta 29 € por asiento principal al mes con 200k eventos, luego 5 € por 100k, y cada paso de simulación cuenta como un evento.
- ¿Es LangWatch Scenario seguro para los datos de la empresa?
- Se ejecuta en local; las conversaciones van al proveedor de LLM configurado para el simulador y el juez, y a LangWatch solo si defines LANGWATCH_API_KEY. La caché está en ~/.scenario/cache.
- ¿Cuáles son las mejores alternativas a LangWatch Scenario?
- Las alternativas más cercanas que hemos analizado son Giskard, DeepEval, promptfoo y Langfuse.
Respuestas comprobadas el 6 nov 2026.