Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Eval-Driven Development

Un ejemplo práctico de agente en Pydantic AI cuyo prompt, modelo y reglas de evaluación están en un solo archivo versionado, evaluado sobre trazas guardadas.

Reseña de ReviewRamble editors · Actualizado

Ver en GitHub Gratis

Comparte esta página:XLinkedInFacebookRedditWhatsAppCorreo

Nuestra nota

3.0/5

Un plano ordenado para versionar el prompt de un agente junto a sus pruebas y evaluar trazas guardadas, pero sin licencia y con cuatro días de commits es una referencia para leer, no una dependencia.

¿Qué es Eval-Driven Development?

Este repositorio es un proyecto de referencia, no una biblioteca. Construye un único agente pequeño, un asistente de noticias financieras sobre Pydantic AI que llama a un modelo de OpenAI y a un servidor de búsqueda MCP de SearchAPI, y lo envuelve en las pruebas y la monitorización que necesitaría un agente en producción.

El centro es prompt_eval.json, un contrato versionado que reúne el prompt del agente, el modelo y las reglas para aprobar: palabras que la respuesta debe contener, límites de peticiones al modelo y de llamadas a herramientas, y una rúbrica para un juez LLM. Tres scripts comprueban el comportamiento contra él: ejecuciones en vivo repetidas, comprobaciones deterministas sobre trazas ya guardadas en Grafana Tempo y una pasada de LLM como juez sobre esas respuestas guardadas. Un archivo de Docker Compose levanta en local Prometheus, Loki, Tempo, SeaweedFS y Grafana, y dos textos largos en docs/blog explican el razonamiento.

Tiene un único autor (alexcpn), se creó el 14 de agosto de 2026 y tiene 17 commits, el último del 17 de agosto de 2026.

¿Merece la pena Eval-Driven Development?

Eval-Driven Development es una demostración clara y compacta de cómo tratar el prompt de un agente como código con pruebas, y no es más que una demostración. Tiene 10 estrellas en GitHub, 2 forks y 17 commits hechos en cuatro días de agosto de 2026, sin actividad desde entonces.

La idea que merece llevarse es el archivo de contrato. Como el prompt, su versión, el modelo y la política de evaluación viven en un solo registro JSON, y cada traza lleva el agent_id y el prompt_version, una traza guardada siempre se puede evaluar con las reglas vigentes cuando se ejecutó. El modo de trazas cuenta las peticiones al modelo y las llamadas a herramientas a partir de los nombres de los spans de OpenTelemetry sin gastar tokens; el modo juez solo gasta tokens del modelo juez (gpt-4o-mini por defecto). El modo en vivo ejecuta cada caso 3 veces por defecto y termina con estado 1 ante cualquier fallo, así que encaja en un pipeline de CI. Un pequeño evaluador propio, MinToolCalls, cubre un hueco de Pydantic Evals, que solo trae un máximo.

La pega: la pila es un montaje didáctico, no una configuración segura por defecto. El archivo de Compose publica Grafana, Prometheus, Loki y Tempo en todas las interfaces de red en lugar de localhost, y Grafana arranca con admin/admin; solo SeaweedFS está ligado a 127.0.0.1. Ejecútalo en una máquina a la que nadie más pueda acceder o cambia antes los puertos. El README dice que las trazas se guardan 24 horas, mientras que tempo.yml fija 720 horas (30 días). No hay archivo de licencia, así que puedes leer el código pero no tienes ningún derecho concedido para copiarlo en tu propio proyecto. El modelo del agente en el contrato de ejemplo es openai:gpt-4, y el ejemplo cubre un solo agente de OpenAI con búsqueda.

Nuestra opinión: es un plano bien comentado para conectar Pydantic Evals con trazas de Tempo, y lo mejor es reconstruirlo a mano en tu propio código; como herramienta mantenida para ejecutar, Promptfoo, DeepEval o Inspect cubren la evaluación con licencia y una base de usuarios.

Dónde se gana su sitio

  • Un ingeniero de backend que añade un agente LLM a un producto fintech

    Montar un control de regresión antes de lanzar el agente

    Sigue el patrón del archivo de contrato: un registro JSON por versión del agente con palabras obligatorias y límites de peticiones y llamadas a herramientas, ejecuta la evaluación en vivo 3 veces por caso en CI y haz fallar la build con el código de salida 1. Cada ejecución en vivo gasta cuota de OpenAI y SearchAPI.

  • Un equipo de plataforma que ya usa Grafana Tempo

    Comprobar las trazas de producción contra la versión del prompt que las generó

    Adapta el script de trazas para muestrear el 10% de las trazas de la última hora y evaluar el número de llamadas a herramientas a partir de los nombres de los spans; no hace llamadas al modelo, así que una comprobación cada hora no cuesta nada. El script juez añade la evaluación con rúbrica a las tarifas de gpt-4o-mini.

Antes de decidirte

Puesta en marcha
Necesita Python 3.10+, uv, Docker Compose, una clave de OpenAI y un token MCP de SearchAPI; levanta la pila de observabilidad con docker compose y luego uv run python main.py.
Integraciones
Pydantic AI y Pydantic Evals, modelos de OpenAI, MCP mediante MCPToolset, OpenTelemetry, Prometheus, Loki, Tempo, SeaweedFS y Grafana.
Datos y privacidad
Los prompts y respuestas van a OpenAI y las consultas de búsqueda a SearchAPI; las trazas y los logs se quedan en volúmenes locales de Docker. Tempo guarda las trazas 720 horas según tempo.yml, y Loki no tiene límite de retención configurado.
Límites
Sin licencia; los puertos de Grafana, Prometheus, Loki y Tempo escuchan en todas las interfaces con las credenciales por defecto de Grafana; un solo agente de ejemplo; sin versiones etiquetadas.

Lo bueno

  • Un solo archivo versionado une prompt, modelo y reglas de evaluación
  • Evalúa trazas guardadas en Tempo sin nuevas llamadas al modelo ni a la búsqueda
  • Códigos de salida e informes en Markdown y JSON aptos para CI
  • README detallado y dos textos sobre el diseño

Lo malo

  • Sin archivo de licencia
  • Grafana, Prometheus, Loki y Tempo expuestos en todas las interfaces; acceso a Grafana con admin/admin
  • Un solo autor, 17 commits, ninguno desde el 17 de agosto de 2026
  • El README y la configuración no coinciden en la retención de trazas

Ideal para

Ingenieros que construyen su primer agente de producción en Pydantic AI y quieren un patrón práctico de evaluaciones y trazas para reimplementar.

Alternativas a Eval-Driven Development

Eval-Driven Development: preguntas frecuentes

¿Merece la pena Eval-Driven Development?
Un plano ordenado para versionar el prompt de un agente junto a sus pruebas y evaluar trazas guardadas, pero sin licencia y con cuatro días de commits es una referencia para leer, no una dependencia. Le damos un 3.0 sobre 5.
¿Cuánto cuesta Eval-Driven Development?
Gratis para leer, pero el repositorio no tiene archivo de licencia, así que no concede derechos de reutilización. Ejecutarlo consume uso de OpenAI y SearchAPI.
¿Qué inconvenientes tiene Eval-Driven Development?
Sin archivo de licencia; grafana, Prometheus, Loki y Tempo expuestos en todas las interfaces; acceso a Grafana con admin/admin; un solo autor, 17 commits, ninguno desde el 17 de agosto de 2026; el README y la configuración no coinciden en la retención de trazas.
¿Para quién es Eval-Driven Development?
Ingenieros que construyen su primer agente de producción en Pydantic AI y quieren un patrón práctico de evaluaciones y trazas para reimplementar.
¿Es Eval-Driven Development seguro para los datos de la empresa?
Los prompts y respuestas van a OpenAI y las consultas de búsqueda a SearchAPI; las trazas y los logs se quedan en volúmenes locales de Docker. Tempo guarda las trazas 720 horas según tempo.yml, y Loki no tiene límite de retención configurado.
¿Cuáles son las mejores alternativas a Eval-Driven Development?
Las alternativas más cercanas que hemos analizado son promptfoo, DeepEval, Inspect y Langfuse.

Respuestas comprobadas el 18 nov 2026.