Melhores ferramentas open source de avaliação de LLMs de 2026

Das 7 opções de ferramentas open source de avaliação de LLMs que analisamos, as melhores no momento são promptfoo, Inspect e LM Evaluation Harness. Cada uma aparece pela nossa nota, com preço, nosso veredito e para quem é indicada.

Por Sheela · Atualizado em 2 de nov. de 2026 · Como avaliamos

Como montamos o ranking: pela nossa nota (máximo 5), com base em análises feitas a partir dos preços, da documentação e das políticas de cada produto, além de benchmarks independentes quando existem, cada uma verificada na data indicada na análise. Não recebemos comissão de afiliados.

1
promptfoo
O promptfoo transforma testes de regressão de LLM e varreduras de red team em um arquivo YAML e um comando de CI; o novo dono é o ponto a observar.
Ideal para: Equipes que lançam apps de LLM e querem testes de regressão e varreduras de segurança no CI.
Preço: CLI gratuita e de código aberto (MIT); o uso Community inclui red teaming de até 10,000 sondagens por mês. Enterprise (nuvem gerenciada) e On-Premise têm preço sob consulta.
Leia nossa análise de promptfoo
4.5/5
2
Inspect
Inspect é a estrutura de testes compartilhada das avaliações de segurança de IA governamentais e independentes; equipes de produto que verificam prompts em CI vão achá-lo mais framework do que precisam.
Ideal para: Pesquisadores e equipes de segurança que executam avaliações de agentes e de capacidades.
Preço: Gratuito e de código aberto sob a licença MIT.
Leia nossa análise de Inspect
4.4/5
3
LM Evaluation Harness
A régua comum dos benchmarks de modelos, e o instrumento errado para julgar uma aplicação construída sobre um deles.
Ideal para: Pesquisadores e quem treina modelos comparando modelos em benchmarks padrão.
Preço: Gratuito e de código aberto sob a licença MIT.
Leia nossa análise de LM Evaluation Harness
4.4/5
4
DeepEval
Uma biblioteca de avaliação capaz, no estilo do pytest, cujo custo real é a conta do modelo juiz, com uma plataforma de US$ 200 por mês no fim do funil.
Ideal para: Equipes Python que estão adicionando verificações automáticas de qualidade a aplicações com LLM.
Preço: Gratuito e de código aberto sob a licença Apache 2.0. A plataforma hospedada da Confident AI é um produto pago separado.
Leia nossa análise de DeepEval
4.2/5
5
e2e
O e2e é o primeiro framework de testes agêntico que trata as chamadas ao modelo como algo a eliminar, e seu cache de replay é o que torna acessíveis no CI os testes em inglês simples.
Ideal para: Equipes de produto que querem testes de ponta a ponta legíveis em web e mobile sem manter à mão cada seletor.
Preço: Gratuito sob Apache-2.0; você paga o seu próprio modelo. A plataforma hospedada da TesterArmy é separada: Free (5 execuções), Hobby US$ 99/mês (250 execuções), Startup US$ 299/mês (1.000 execuções), Enterprise personalizado.
Leia nossa análise de e2e
4.0/5
6
TruLens
Uma biblioteca de avaliação sólida e nativa de OpenTelemetry, com um dono corporativo por trás, limitada por uma comunidade pequena e por uma inclinação para a Snowflake.
Ideal para: Equipes Python que avaliam apps de RAG ou agentes, sobretudo as que já armazenam dados na Snowflake.
Preço: Gratuito e open source sob a licença MIT. Você paga pelas chamadas ao modelo juiz que cada função de feedback faz; o AI Observability hospedado da Snowflake é um produto separado, cobrado pela Snowflake.
Leia nossa análise de TruLens
3.9/5
7
Ragas
Os nomes das suas métricas viraram o vocabulário da avaliação de RAG, mas o código ficou sem mantenedor.
Ideal para: Equipes com uma suíte Ragas existente que conseguem fixar uma versão e carregar as próprias correções.
Preço: Gratuito e de código aberto sob a licença Apache 2.0. Você paga pelas chamadas à API do modelo juiz que cada métrica faz.
Leia nossa análise de Ragas
3.4/5