Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Eval-Driven Development

Um exemplo prático de agente em Pydantic AI cujo prompt, modelo e regras de avaliação ficam em um único arquivo versionado, avaliado sobre traces armazenados.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Grátis

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

3.0/5

Um projeto organizado para versionar o prompt de um agente junto com seus testes e avaliar traces armazenados, mas sem licença e com quatro dias de commits é uma referência para ler, não uma dependência.

O que é Eval-Driven Development?

Este repositório é um projeto de referência, não uma biblioteca. Ele constrói um único agente pequeno, um assistente de notícias financeiras em Pydantic AI que chama um modelo da OpenAI e um servidor de busca MCP da SearchAPI, e o envolve com os testes e o monitoramento de que um agente em produção precisaria.

O centro é o prompt_eval.json, um contrato versionado que mantém juntos o prompt do agente, o modelo e as regras de aprovação: palavras que a resposta deve conter, limites de requisições ao modelo e de chamadas de ferramentas, e uma rubrica para um juiz LLM. Três scripts verificam o comportamento contra ele: execuções ao vivo repetidas, checagens determinísticas sobre traces já armazenados no Grafana Tempo e uma rodada de LLM como juiz sobre essas respostas armazenadas. Um arquivo Docker Compose sobe localmente Prometheus, Loki, Tempo, SeaweedFS e Grafana, e dois textos longos em docs/blog explicam o raciocínio.

Tem um único autor (alexcpn), foi criado em 14 de agosto de 2026 e tem 17 commits, o último em 17 de agosto de 2026.

Eval-Driven Development vale a pena?

O Eval-Driven Development é uma demonstração clara e compacta de como tratar o prompt de um agente como código com testes, e não passa de uma demonstração. Tem 10 estrelas no GitHub, 2 forks e 17 commits feitos em quatro dias de agosto de 2026, sem atividade desde então.

A ideia que vale levar é o arquivo de contrato. Como o prompt, sua versão, o modelo e a política de avaliação ficam em um único registro JSON, e cada trace carrega o agent_id e o prompt_version, um trace armazenado sempre pode ser avaliado pelas regras em vigor quando rodou. O modo de traces conta requisições ao modelo e chamadas de ferramentas pelos nomes dos spans do OpenTelemetry sem gastar tokens; o modo juiz gasta apenas tokens do modelo juiz (gpt-4o-mini por padrão). O modo ao vivo executa cada caso 3 vezes por padrão e termina com status 1 em qualquer falha, então se encaixa em um pipeline de CI. Um pequeno avaliador próprio, MinToolCalls, preenche uma lacuna do Pydantic Evals, que só traz um máximo.

O porém: a stack é uma montagem didática, não uma configuração segura por padrão. O arquivo Compose publica Grafana, Prometheus, Loki e Tempo em todas as interfaces de rede em vez de localhost, e o Grafana inicia com admin/admin; só o SeaweedFS fica ligado a 127.0.0.1. Rode em uma máquina que mais ninguém alcance, ou altere as portas antes. O README diz que os traces são guardados por 24 horas, enquanto o tempo.yml define 720 horas (30 dias). Não há arquivo de licença, então você pode ler o código, mas não tem nenhum direito concedido de copiá-lo para o seu próprio projeto. O modelo do agente no contrato de exemplo é openai:gpt-4, e o exemplo cobre um único agente da OpenAI com busca.

Nossa opinião: é um projeto bem comentado para ligar o Pydantic Evals a traces do Tempo, melhor refeito à mão no seu próprio código; como ferramenta mantida para rodar, Promptfoo, DeepEval ou Inspect cobrem a avaliação com licença e base de usuários.

Onde ele se destaca

  • Um engenheiro de backend adicionando um agente LLM a um produto de fintech

    Montar uma barreira de regressão antes de o agente ir ao ar

    Siga o padrão do arquivo de contrato: um registro JSON por versão do agente com palavras obrigatórias e limites de requisições e chamadas de ferramentas, rode a avaliação ao vivo 3 vezes por caso na CI e faça o build falhar com o código de saída 1. Cada execução ao vivo gasta cota da OpenAI e da SearchAPI.

  • Uma equipe de plataforma que já roda o Grafana Tempo

    Conferir traces de produção contra a versão do prompt que os gerou

    Adapte o script de traces para amostrar 10% dos traces da última hora e avaliar a contagem de chamadas de ferramentas pelos nomes dos spans; ele não faz chamadas ao modelo, então uma checagem por hora não custa nada. O script juiz acrescenta a avaliação por rubrica às tarifas do gpt-4o-mini.

Antes de decidir

Configuração
Precisa de Python 3.10+, uv, Docker Compose, uma chave da OpenAI e um token MCP da SearchAPI; suba a stack de observabilidade com docker compose e depois uv run python main.py.
Integrações
Pydantic AI e Pydantic Evals, modelos da OpenAI, MCP via MCPToolset, OpenTelemetry, Prometheus, Loki, Tempo, SeaweedFS e Grafana.
Dados e privacidade
Prompts e respostas vão para a OpenAI e as consultas de busca para a SearchAPI; traces e logs ficam em volumes Docker locais. O Tempo guarda traces por 720 horas segundo o tempo.yml, e o Loki não tem limite de retenção definido.
Limites
Sem licença; as portas de Grafana, Prometheus, Loki e Tempo escutam em todas as interfaces com as credenciais padrão do Grafana; um único agente de exemplo; sem versões marcadas.

O que é bom

  • Um único arquivo versionado une prompt, modelo e regras de avaliação
  • Avalia traces armazenados no Tempo sem novas chamadas ao modelo ou à busca
  • Códigos de saída e relatórios em Markdown e JSON servem para CI
  • README detalhado e dois textos sobre o design

O que não é

  • Sem arquivo de licença
  • Grafana, Prometheus, Loki e Tempo expostos em todas as interfaces; login do Grafana admin/admin
  • Um só autor, 17 commits, nenhum desde 17 de agosto de 2026
  • README e configuração divergem sobre a retenção de traces

Ideal para

Engenheiros construindo o primeiro agente de produção em Pydantic AI que querem um padrão prático de avaliações e tracing para reimplementar.

Alternativas ao Eval-Driven Development

Eval-Driven Development: perguntas frequentes

Eval-Driven Development vale a pena?
Um projeto organizado para versionar o prompt de um agente junto com seus testes e avaliar traces armazenados, mas sem licença e com quatro dias de commits é uma referência para ler, não uma dependência. Damos nota 3.0 de 5.
Quanto custa Eval-Driven Development?
Grátis para ler, mas o repositório não tem arquivo de licença, então nenhum direito de reutilização é concedido. Rodá-lo consome uso da OpenAI e da SearchAPI.
Quais são as desvantagens de Eval-Driven Development?
Sem arquivo de licença; grafana, Prometheus, Loki e Tempo expostos em todas as interfaces; login do Grafana admin/admin; um só autor, 17 commits, nenhum desde 17 de agosto de 2026; rEADME e configuração divergem sobre a retenção de traces.
Para quem Eval-Driven Development é indicado?
Engenheiros construindo o primeiro agente de produção em Pydantic AI que querem um padrão prático de avaliações e tracing para reimplementar.
Eval-Driven Development é seguro para dados da empresa?
Prompts e respostas vão para a OpenAI e as consultas de busca para a SearchAPI; traces e logs ficam em volumes Docker locais. O Tempo guarda traces por 720 horas segundo o tempo.yml, e o Loki não tem limite de retenção definido.
Quais são as melhores alternativas ao Eval-Driven Development?
As alternativas mais próximas que analisamos são promptfoo, DeepEval, Inspect e Langfuse.

Respostas verificadas em 18 de nov. de 2026.