Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Eval-Driven Development

Ein ausgearbeitetes Beispiel für einen Pydantic-AI-Agenten, dessen Prompt, Modell und Eval-Regeln in einer versionierten Datei liegen, geprüft an gespeicherten Traces.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Kostenlos

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

3.0/5

Ein sauberer Bauplan, um den Prompt eines Agenten zusammen mit seinen Tests zu versionieren und gespeicherte Traces zu bewerten, doch ohne Lizenz und mit vier Tagen Commits ist es eine Referenz zum Lesen, keine Abhängigkeit.

Was ist Eval-Driven Development?

Dieses Repository ist ein Referenzprojekt, keine Bibliothek. Es baut einen einzigen kleinen Agenten, einen Finanznachrichten-Assistenten auf Pydantic AI, der ein OpenAI-Modell und einen SearchAPI-MCP-Suchserver aufruft, und umgibt ihn mit dem Testen und Monitoring, das ein Produktionsagent bräuchte.

Kern ist prompt_eval.json, ein versionierter Vertrag, der Prompt, Modell und Bestehensregeln des Agenten zusammenhält: Wörter, die die Antwort enthalten muss, Grenzen für Modellanfragen und Tool-Aufrufe sowie ein Bewertungsschema für einen LLM-Richter. Drei Skripte prüfen das Verhalten dagegen: wiederholte Live-Läufe, deterministische Prüfungen auf bereits in Grafana Tempo gespeicherten Traces und ein LLM-als-Richter-Durchgang über diese gespeicherten Antworten. Eine Docker-Compose-Datei startet lokal Prometheus, Loki, Tempo, SeaweedFS und Grafana, und zwei lange Texte in docs/blog erklären die Überlegungen.

Es hat einen einzigen Autor (alexcpn), wurde am 14. August 2026 angelegt und hat 17 Commits, der letzte vom 17. August 2026.

Lohnt sich Eval-Driven Development?

Eval-Driven Development ist eine klare, kompakte Demonstration, wie man den Prompt eines Agenten als Code mit Tests behandelt, und mehr als eine Demonstration ist es nicht. Es hat 10 GitHub-Sterne, 2 Forks und 17 Commits aus vier Tagen im August 2026, seither keine Aktivität.

Die Idee, die man mitnehmen sollte, ist die Vertragsdatei. Weil Prompt, Version, Modell und Eval-Regeln in einem JSON-Datensatz stehen und jeder Trace agent_id und prompt_version mitführt, lässt sich ein gespeicherter Trace immer an den Regeln messen, die bei seinem Lauf galten. Der Trace-Modus zählt Modellanfragen und Tool-Aufrufe anhand der OpenTelemetry-Span-Namen, ohne Tokens zu verbrauchen; der Richter-Modus verbraucht nur Tokens des Richtermodells (standardmäßig gpt-4o-mini). Der Live-Modus führt jeden Fall standardmäßig 3-mal aus und endet bei jedem Fehler mit Status 1, passt also in eine CI-Pipeline. Ein kleiner eigener Evaluator, MinToolCalls, schließt eine Lücke in Pydantic Evals, das nur ein Maximum mitbringt.

Der Haken: Der Stack ist ein Lehraufbau, keine sichere Voreinstellung. Die Compose-Datei veröffentlicht Grafana, Prometheus, Loki und Tempo auf allen Netzwerkschnittstellen statt auf localhost, und Grafana startet mit admin/admin; nur SeaweedFS ist an 127.0.0.1 gebunden. Betreibe es auf einem Rechner, den sonst niemand erreicht, oder ändere vorher die Port-Bindungen. Das README nennt 24 Stunden Aufbewahrung für Traces, während tempo.yml 720 Stunden (30 Tage) festlegt. Es gibt keine Lizenzdatei; du darfst den Code lesen, hast aber kein eingeräumtes Recht, ihn in dein eigenes Projekt zu kopieren. Das Agentenmodell im Beispielvertrag ist openai:gpt-4, und das Beispiel deckt nur einen OpenAI-Agenten mit Suche ab.

Unser Fazit: ein gut kommentierter Bauplan, um Pydantic Evals mit Tempo-Traces zu verbinden, den man am besten in eigenem Code nachbaut; als gepflegtes Werkzeug zum Betreiben decken Promptfoo, DeepEval oder Inspect die Evaluierung mit Lizenz und Nutzerbasis ab.

Wo es sich lohnt

  • Ein Backend-Engineer, der einem Fintech-Produkt einen LLM-Agenten hinzufügt

    Vor dem Start des Agenten eine Regressionsschranke einrichten

    Das Muster der Vertragsdatei übernehmen: ein JSON-Datensatz pro Agentenversion mit Pflichtwörtern und Grenzen für Anfragen und Tool-Aufrufe, die Live-Evaluierung in der CI 3-mal pro Fall laufen lassen und den Build bei Exit-Code 1 scheitern lassen. Jeder Live-Lauf verbraucht OpenAI- und SearchAPI-Kontingent.

  • Ein Plattformteam, das Grafana Tempo bereits betreibt

    Produktions-Traces an der Prompt-Version prüfen, die sie erzeugt hat

    Das Trace-Skript so anpassen, dass es 10% der Traces der letzten Stunde stichprobenartig zieht und die Zahl der Tool-Aufrufe anhand der Span-Namen bewertet; es macht keine Modellaufrufe, eine stündliche Prüfung kostet also nichts. Das Richter-Skript ergänzt die Bewertung nach Schema zu gpt-4o-mini-Preisen.

Bevor du dich festlegst

Einrichtung
Braucht Python 3.10+, uv, Docker Compose, einen OpenAI-Schlüssel und ein SearchAPI-MCP-Token; den Observability-Stack mit docker compose starten, dann uv run python main.py.
Integrationen
Pydantic AI und Pydantic Evals, OpenAI-Modelle, MCP über MCPToolset, OpenTelemetry, Prometheus, Loki, Tempo, SeaweedFS und Grafana.
Daten und Datenschutz
Prompts und Antworten gehen an OpenAI, Suchanfragen an SearchAPI; Traces und Logs bleiben in lokalen Docker-Volumes. Tempo bewahrt Traces laut tempo.yml 720 Stunden auf, für Loki ist keine Aufbewahrungsgrenze gesetzt.
Grenzen
Keine Lizenz; die Ports von Grafana, Prometheus, Loki und Tempo lauschen auf allen Schnittstellen, mit Grafana-Standardzugangsdaten; ein einziger Beispielagent; keine getaggten Releases.

Was gut ist

  • Eine versionierte Datei verbindet Prompt, Modell und Eval-Regeln
  • Bewertet gespeicherte Tempo-Traces ohne neue Modell- oder Suchaufrufe
  • Exit-Codes sowie Markdown- und JSON-Berichte eignen sich für CI
  • Ausführliches README und zwei Texte zum Design

Was nicht

  • Keine Lizenzdatei
  • Grafana, Prometheus, Loki und Tempo auf allen Schnittstellen offen; Grafana-Login admin/admin
  • Ein Autor, 17 Commits, keiner seit dem 17. August 2026
  • README und Konfiguration widersprechen sich bei der Trace-Aufbewahrung

Am besten für

Engineers, die ihren ersten Produktionsagenten auf Pydantic AI bauen und ein ausgearbeitetes Muster für Evals und Tracing zum Nachbauen suchen.

Alternativen zu Eval-Driven Development

Eval-Driven Development: häufige Fragen

Lohnt sich Eval-Driven Development?
Ein sauberer Bauplan, um den Prompt eines Agenten zusammen mit seinen Tests zu versionieren und gespeicherte Traces zu bewerten, doch ohne Lizenz und mit vier Tagen Commits ist es eine Referenz zum Lesen, keine Abhängigkeit. Wir bewerten es mit 3.0 von 5.
Was kostet Eval-Driven Development?
Kostenlos lesbar, aber das Repository hat keine Lizenzdatei, daher werden keine Nutzungsrechte eingeräumt. Der Betrieb kostet OpenAI- und SearchAPI-Nutzung.
Welche Nachteile hat Eval-Driven Development?
Keine Lizenzdatei; Grafana, Prometheus, Loki und Tempo auf allen Schnittstellen offen; Grafana-Login admin/admin; Ein Autor, 17 Commits, keiner seit dem 17. August 2026; README und Konfiguration widersprechen sich bei der Trace-Aufbewahrung.
Für wen eignet sich Eval-Driven Development?
Engineers, die ihren ersten Produktionsagenten auf Pydantic AI bauen und ein ausgearbeitetes Muster für Evals und Tracing zum Nachbauen suchen.
Ist Eval-Driven Development sicher für Firmendaten?
Prompts und Antworten gehen an OpenAI, Suchanfragen an SearchAPI; Traces und Logs bleiben in lokalen Docker-Volumes. Tempo bewahrt Traces laut tempo.yml 720 Stunden auf, für Loki ist keine Aufbewahrungsgrenze gesetzt.
Was sind die besten Alternativen zu Eval-Driven Development?
Die nächsten Alternativen, die wir getestet haben, sind promptfoo, DeepEval, Inspect und Langfuse.

Antworten geprüft am 18. Nov. 2026.