Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Eval-Driven Development

Un exemple commenté d'agent Pydantic AI dont le prompt, le modèle et les règles d'évaluation tiennent dans un seul fichier versionné, noté sur des traces stockées.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Gratuit

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

3.0/5

Un plan soigné pour versionner le prompt d'un agent avec ses tests et noter des traces stockées, mais sans licence et avec quatre jours de commits, c'est une référence à lire, pas une dépendance.

Qu’est-ce que Eval-Driven Development ?

Ce dépôt est un projet de référence, pas une bibliothèque. Il construit un seul petit agent, un assistant d'actualité financière sur Pydantic AI qui appelle un modèle OpenAI et un serveur de recherche MCP de SearchAPI, et l'entoure des tests et de la supervision dont aurait besoin un agent en production.

Le cœur est prompt_eval.json, un contrat versionné qui réunit le prompt de l'agent, son modèle et ses règles de réussite : mots que la réponse doit contenir, plafonds de requêtes au modèle et d'appels d'outils, et grille d'évaluation pour un juge LLM. Trois scripts vérifient le comportement par rapport à ce contrat : des exécutions réelles répétées, des contrôles déterministes sur des traces déjà stockées dans Grafana Tempo, et un passage de LLM juge sur ces réponses stockées. Un fichier Docker Compose lance en local Prometheus, Loki, Tempo, SeaweedFS et Grafana, et deux longs textes dans docs/blog expliquent la démarche.

Il a un seul auteur (alexcpn), a été créé le 14 août 2026 et compte 17 commits, le dernier le 17 août 2026.

Eval-Driven Development vaut-il le coup ?

Eval-Driven Development est une démonstration claire et compacte de la manière de traiter le prompt d'un agent comme du code testé, et ce n'est qu'une démonstration. Il compte 10 étoiles GitHub, 2 forks et 17 commits faits en quatre jours d'août 2026, sans activité depuis.

L'idée à retenir est le fichier de contrat. Comme le prompt, sa version, le modèle et la politique d'évaluation tiennent dans un seul enregistrement JSON, et que chaque trace porte l'agent_id et le prompt_version, une trace stockée peut toujours être notée selon les règles en vigueur lors de son exécution. Le mode traces compte les requêtes au modèle et les appels d'outils à partir des noms de spans OpenTelemetry sans dépenser de tokens ; le mode juge ne dépense que des tokens du modèle juge (gpt-4o-mini par défaut). Le mode réel exécute chaque cas 3 fois par défaut et se termine avec le statut 1 au moindre échec, ce qui l'intègre dans un pipeline de CI. Un petit évaluateur maison, MinToolCalls, comble un manque de Pydantic Evals, qui ne fournit qu'un maximum.

Le hic : la pile est un montage pédagogique, pas une configuration sûre par défaut. Le fichier Compose publie Grafana, Prometheus, Loki et Tempo sur toutes les interfaces réseau plutôt que sur localhost, et Grafana démarre avec admin/admin ; seul SeaweedFS est lié à 127.0.0.1. Faites-le tourner sur une machine que personne d'autre ne peut joindre, ou modifiez d'abord les ports. Le README indique que les traces sont gardées 24 heures, alors que tempo.yml fixe 720 heures (30 jours). Il n'y a pas de fichier de licence : vous pouvez lire le code mais n'avez aucun droit accordé de le copier dans votre propre projet. Le modèle d'agent du contrat d'exemple est openai:gpt-4, et l'exemple ne couvre qu'un agent OpenAI avec recherche.

Notre avis : c'est un plan bien annoté pour relier Pydantic Evals aux traces Tempo, à reconstruire à la main dans votre propre code ; comme outil maintenu à faire tourner, Promptfoo, DeepEval ou Inspect couvrent l'évaluation avec une licence et une base d'utilisateurs.

Là où il fait la différence

  • Un ingénieur backend qui ajoute un agent LLM à un produit fintech

    Mettre en place une barrière de non-régression avant la mise en service de l'agent

    Reprenez le principe du fichier de contrat : un enregistrement JSON par version d'agent avec mots obligatoires et plafonds de requêtes et d'appels d'outils, lancez l'évaluation réelle 3 fois par cas en CI et faites échouer le build sur le code de sortie 1. Chaque exécution réelle consomme du quota OpenAI et SearchAPI.

  • Une équipe plateforme qui exploite déjà Grafana Tempo

    Vérifier les traces de production par rapport à la version du prompt qui les a produites

    Adaptez le script de traces pour échantillonner 10% des traces de la dernière heure et noter le nombre d'appels d'outils à partir des noms de spans ; il ne fait aucun appel au modèle, donc un contrôle horaire ne coûte rien. Le script juge ajoute la notation par grille aux tarifs de gpt-4o-mini.

Avant de vous engager

Mise en route
Exige Python 3.10+, uv, Docker Compose, une clé OpenAI et un jeton MCP SearchAPI ; lancez la pile d'observabilité avec docker compose, puis uv run python main.py.
Intégrations
Pydantic AI et Pydantic Evals, modèles OpenAI, MCP via MCPToolset, OpenTelemetry, Prometheus, Loki, Tempo, SeaweedFS et Grafana.
Données et confidentialité
Les prompts et réponses partent chez OpenAI et les requêtes de recherche chez SearchAPI ; traces et logs restent dans des volumes Docker locaux. Tempo garde les traces 720 heures selon tempo.yml, et Loki n'a aucune limite de conservation définie.
Limites
Pas de licence ; les ports de Grafana, Prometheus, Loki et Tempo écoutent sur toutes les interfaces avec les identifiants Grafana par défaut ; un seul agent d'exemple ; aucune version étiquetée.

Les points forts

  • Un seul fichier versionné relie prompt, modèle et règles d'évaluation
  • Note les traces Tempo stockées sans nouvel appel au modèle ni à la recherche
  • Codes de sortie et rapports Markdown et JSON adaptés à la CI
  • README détaillé et deux textes sur la conception

Les points faibles

  • Pas de fichier de licence
  • Grafana, Prometheus, Loki et Tempo exposés sur toutes les interfaces ; connexion Grafana admin/admin
  • Un seul auteur, 17 commits, aucun depuis le 17 août 2026
  • Le README et la configuration se contredisent sur la conservation des traces

Idéal pour

Les ingénieurs qui construisent leur premier agent de production sur Pydantic AI et veulent un modèle commenté d'évaluations et de traçage à réimplémenter.

Alternatives à Eval-Driven Development

Eval-Driven Development : questions fréquentes

Eval-Driven Development vaut-il le coup ?
Un plan soigné pour versionner le prompt d'un agent avec ses tests et noter des traces stockées, mais sans licence et avec quatre jours de commits, c'est une référence à lire, pas une dépendance. Nous lui donnons 3.0 sur 5.
Combien coûte Eval-Driven Development ?
Gratuit à lire, mais le dépôt n'a pas de fichier de licence et n'accorde donc aucun droit de réutilisation. Le faire tourner coûte de l'usage OpenAI et SearchAPI.
Quels sont les inconvénients de Eval-Driven Development ?
Pas de fichier de licence; grafana, Prometheus, Loki et Tempo exposés sur toutes les interfaces ; connexion Grafana admin/admin; un seul auteur, 17 commits, aucun depuis le 17 août 2026; le README et la configuration se contredisent sur la conservation des traces.
À qui s’adresse Eval-Driven Development ?
Les ingénieurs qui construisent leur premier agent de production sur Pydantic AI et veulent un modèle commenté d'évaluations et de traçage à réimplémenter.
Eval-Driven Development est-il sûr pour les données de l’entreprise ?
Les prompts et réponses partent chez OpenAI et les requêtes de recherche chez SearchAPI ; traces et logs restent dans des volumes Docker locaux. Tempo garde les traces 720 heures selon tempo.yml, et Loki n'a aucune limite de conservation définie.
Quelles sont les meilleures alternatives à Eval-Driven Development ?
Les alternatives les plus proches que nous avons testées sont promptfoo, DeepEval, Inspect et Langfuse.

Réponses vérifiées le 18 nov. 2026.