O que é DeepEval?
O DeepEval é um framework de código aberto para testar aplicações com LLM no estilo do pytest: você escreve casos de teste com entradas e saídas e faz asserções sobre eles com métricas, localmente ou em CI.
Ele traz métricas de várias famílias: juízes personalizados como o G-Eval e o DAG baseado em grafos, métricas de RAG (fidelidade, recall e precisão contextuais), métricas de agentes (conclusão de tarefas, correção no uso de ferramentas, aderência ao plano), métricas multiturno e de agentes de voz, e red-teaming. A maioria é pontuada por um LLM juiz, a OpenAI no quickstart, embora qualquer modelo possa ser conectado. Um pacote TypeScript (deepeval no npm, versão 0.9.23) acompanha o de Python.
A Confident AI, empresa por trás dele, vende uma plataforma hospedada para resultados de testes e traces de produção. A versão Python mais recente no PyPI é a 4.3.1, de 16 de outubro de 2026.
DeepEval vale a pena?
O DeepEval é a forma mais direta de uma equipe Python colocar verificações de LLM em uma suíte de testes existente. Os testes parecem pytest, rodam com deepeval test run no CI e quebram o build quando a fidelidade ou a conclusão de tarefas cai abaixo de um limite. Com cerca de 19.100 estrelas no GitHub e lançamentos quase todo mês, ele tem um dos catálogos de métricas mais amplos entre as bibliotecas de avaliação de código aberto, agora chegando ao planejamento de agentes e a chamadas de voz.
O porém é que a maioria das métricas é um LLM dando nota a outro. O quickstart define OPENAI_API_KEY, então por padrão cada métrica em cada caso de teste é uma chamada de API paga, e algumas centenas de casos rodando a cada pull request somam. As notas também mudam quando o modelo juiz muda. As issues abertas mais discutidas refletem isso: juízes que devolvem JSON inválido ('please use a better evaluation model'), dificuldade para usar modelos do Hugging Face como juízes e execuções assíncronas que não terminam.
A telemetria vem ativada por padrão. A documentação diz que o DeepEval envia nomes de eventos, nomes de métricas, um ID anônimo e o seu endereço IP público para o PostHog; DEEPEVAL_TELEMETRY_OPT_OUT=1 a desliga, embora uma issue aberta intitulada 'Unable to disable telemetry' tenha 12 comentários. Os dados de teste só vão para a Confident AI se você fizer login e enviá-los.
A Confident AI cobra por organização, não por assento: Free com dois assentos e cinco execuções de teste por semana, Starter a US$ 200 por mês, Team a US$ 2.000 por mês com SSO e SOC 2, e um nível Enterprise personalizado com implantação on-premises e HIPAA. A biblioteca funciona plenamente sem ela, mas o README e a CLI apontam para lá com frequência. O Promptfoo cobre um terreno parecido por meio de configuração YAML, com red-teaming mais forte, o Ragas é mais restrito e só de RAG, e o Inspect AI serve melhor para benchmarks no nível do modelo do que para testes de aplicação.
Onde ele se destaca
Uma equipe de back end lançando um bot de suporte com RAG em uma stack Python
Bloquear merges quando a fidelidade das respostas cai
Adicione testes de fidelidade e recall contextual à suíte pytest existente e rode-os a cada pull request. A biblioteca é gratuita; as chamadas ao juiz não, então muitas equipes rodam o conjunto completo toda noite e uma amostra por PR.
Um engenheiro de ML construindo um agente que chama ferramentas
Verificar se o agente chama as ferramentas certas com os argumentos certos
Tool Correctness e Argument Correctness comparam as chamadas com as esperadas, enquanto Task Completion e Plan Adherence usam um LLM juiz. Um juiz mais barato ou local reduz o custo, mas deve ser conferido antes contra alguns rótulos humanos.
Um head de IA em uma empresa de software de 40 pessoas
Decidir se vale pagar por um painel de avaliação hospedado
O Confident AI Starter custa US$ 200 por mês fixos, com assentos ilimitados e 5 GB-mês de traces, e depois US$ 1 por GB-mês; SSO e SOC 2 começam no Team, a US$ 2.000 por mês. Manter os resultados em artefatos do CI não custa nada, mas perde o histórico e o agrupamento de traces.
Antes de decidir
- Configuração
- pip install -U deepeval (Python 3.9 ou superior), defina OPENAI_API_KEY ou configure outro modelo juiz, escreva um arquivo de teste com uma métrica e rode deepeval test run.
- Integrações
- pytest e CI; rastreamento para LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI, OpenAI Agents, Google ADK, AWS AgentCore, Strands, o Vercel AI SDK e Mastra; modelos juízes personalizados; envio opcional para a Confident AI.
- Dados e privacidade
- Roda localmente. A telemetria (nomes de eventos e métricas, ID anônimo, IP público) vai para o PostHog, a menos que DEEPEVAL_TELEMETRY_OPT_OUT=1. Os casos de teste são enviados ao provedor juiz que você configurar. A Confident AI armazena os envios na AWS; SSO e SOC 2 vêm com o plano Team.
- Custo em escala
- A biblioteca é gratuita; o custo do juiz cresce com casos de teste vezes métricas vezes execuções. Confident AI: Free (2 assentos, 5 execuções de teste por semana), Starter US$ 200 por mês, Team US$ 2.000 por mês, Enterprise personalizado com implantação on-premises.
- Limites
- 775 issues e pull requests abertos; os juízes podem devolver JSON malformado e derrubar testes; as notas mudam com o modelo juiz; há relatos de execuções assíncronas que travam.
O que é bom
- Testes no estilo do pytest que rodam em CI
- Métricas amplas: RAG, agentes, multiturno e voz
- Qualquer LLM pode atuar como juiz, incluindo modelos locais
- Pacotes Python e TypeScript
O que não é
- A maioria das métricas custa uma chamada ao modelo juiz por caso de teste
- Telemetria para o PostHog ativada por padrão
- Saída malformada do juiz é uma falha comum
- A documentação e a CLI empurram para a Confident AI
Ideal para
Equipes Python que estão adicionando verificações automáticas de qualidade a aplicações com LLM.
Alternativas ao DeepEval
DeepEval: perguntas frequentes
- DeepEval vale a pena?
- Uma biblioteca de avaliação capaz, no estilo do pytest, cujo custo real é a conta do modelo juiz, com uma plataforma de US$ 200 por mês no fim do funil. Damos nota 4.2 de 5.
- Quanto custa DeepEval?
- Gratuito e de código aberto sob a licença Apache 2.0. A plataforma hospedada da Confident AI é um produto pago separado.
- Quais são as desvantagens de DeepEval?
- A maioria das métricas custa uma chamada ao modelo juiz por caso de teste; telemetria para o PostHog ativada por padrão; saída malformada do juiz é uma falha comum; a documentação e a CLI empurram para a Confident AI.
- Para quem DeepEval é indicado?
- Equipes Python que estão adicionando verificações automáticas de qualidade a aplicações com LLM.
- Quanto custa DeepEval para uma equipe ou em produção?
- A biblioteca é gratuita; o custo do juiz cresce com casos de teste vezes métricas vezes execuções. Confident AI: Free (2 assentos, 5 execuções de teste por semana), Starter US$ 200 por mês, Team US$ 2.000 por mês, Enterprise personalizado com implantação on-premises.
- DeepEval é seguro para dados da empresa?
- Roda localmente. A telemetria (nomes de eventos e métricas, ID anônimo, IP público) vai para o PostHog, a menos que DEEPEVAL_TELEMETRY_OPT_OUT=1. Os casos de teste são enviados ao provedor juiz que você configurar. A Confident AI armazena os envios na AWS; SSO e SOC 2 vêm com o plano Team.
- Quais são as melhores alternativas ao DeepEval?
- As alternativas mais próximas que analisamos são promptfoo, Ragas e Inspect.
Respostas verificadas em 23 de out. de 2026.