Avaliação

O que observar

As perguntas que separam as opções, em ordem de importância.

1. 01

   O seu próprio conjunto de testes, não um ranking

   Benchmarks públicos como MMLU ou GSM8K, rodados com ferramentas como o LM Evaluation Harness, comparam modelos em geral; dizem pouco sobre os seus prompts, documentos ou usuários. A avaliação mais útil são 50 a 200 exemplos reais do seu produto com boas respostas conhecidas, ampliados toda vez que um bug chega à produção. Use os harnesses de benchmark para verificar se um fine-tune ou uma troca de modelo não quebrou a capacidade geral, e o seu próprio conjunto para todo o resto.

2. 02

   Testes offline e pontuação online

   A avaliação offline roda um conjunto de dados fixo antes de você lançar, como testes unitários. A avaliação online pontua uma amostra de traces reais de produção com as mesmas métricas, pegando problemas que o seu conjunto de testes não contém. Plataformas que fazem as duas coisas (Braintrust, Opik, Arize Phoenix) permitem que um trace de produção com falha vire um novo caso de teste; bibliotecas como promptfoo, DeepEval e Ragas são offline, a menos que sejam combinadas com uma ferramenta de tracing.

3. 03

   Confiabilidade do LLM como juiz

   A maioria das métricas de qualidade pede a outro modelo que avalie a resposta. Os juízes variam entre execuções, favorecem respostas mais longas ou mais confiantes e custam dinheiro a cada nota. Confira à mão uma amostra dos veredictos do juiz, fixe o modelo e o prompt do juiz para que as notas sejam comparáveis ao longo do tempo e prefira verificações exatas (correspondência de string, schema JSON, execução de código) sempre que a tarefa permitir.

4. 04

   Métricas de RAG que separam recuperação de geração

   Para apps com geração aumentada por recuperação, você precisa saber se os documentos certos foram encontrados (context precision e context recall) e se a resposta se ateve a eles (faithfulness). O Ragas popularizou essas definições; o DeepEval, o promptfoo e a biblioteca open source autoevals, da Braintrust, agora também as implementam. Uma única nota geral de 'correção' esconde qual metade do pipeline falhou.

5. 05

   Integração com a CI

   As avaliações só evitam regressões se rodarem automaticamente a cada mudança de prompt, de modelo ou de recuperação. O promptfoo usa uma configuração YAML e uma CLI feitas para CI; o DeepEval e o Opik se conectam ao pytest; o Inspect e o LM Evaluation Harness rodam como jobs em Python ou na CLI. Defina um limite mínimo por métrica e faça a build falhar quando ele cair, em vez de ler painéis depois do fato.

6. 06

   Gestão e versionamento do conjunto de testes

   Os conjuntos de dados mudam à medida que você acrescenta casos e corrige rótulos, então os resultados só são comparáveis se você souber qual versão do conjunto os produziu. Plataformas hospedadas guardam conjuntos de dados, experimentos e as diferenças entre eles; ferramentas baseadas em arquivos dependem de você manter os casos de teste no Git. As duas abordagens funcionam, mas decida antes que o conjunto passe de algumas centenas de exemplos.

7. 07

   Suporte à avaliação de agentes

   Agentes precisam de mais do que verificações de entrada e saída: eles chamaram as ferramentas certas, em uma ordem sensata, dentro do orçamento, sem ações inseguras? O Inspect é a opção aberta mais forte para avaliações de agentes em sandbox; o DeepEval traz métricas para agentes. Verifique se a ferramenta consegue pontuar um trace inteiro, não só a mensagem final.

8. 08

   Manutenção e licença

   O Ragas não lança versões desde janeiro de 2026 e a sua equipe seguiu para outros projetos; o promptfoo agora pertence à OpenAI; o Arize Phoenix tem código disponível sob a Elastic License 2.0, mas não é open source. Nada disso é eliminatório, mas importa para uma ferramenta que vai ficar anos na sua CI.

16 ferramentas comparadas

Ordenadas pela nossa nota. Abra qualquer avaliação para ver as fontes, os preços e o veredito completo.

Ferramentas de Avaliação comparadas

Ferramenta	Nota	Nosso veredito	Ideal para	Preço
Langfuserepositório	4.6/5	Rastreamento de LLM neutro em relação a frameworks que você pode ter por completo: o build auto-hospedado gratuito cobre quase tudo, e a nuvem tem preço definido até a unidade.	Equipes que querem rastreamento e avaliação neutros em relação a frameworks, que possam auto-hospedar de graça ou comprar como serviço de nuvem com preço razoável.	Gratuito e de código aberto sob MIT, exceto as pastas ee/, sob licença comercial. Nuvem: Hobby gratuito (50k unidades/mês); Core $29/mês; Pro $199/mês (complemento Teams +$300); Enterprise $2,499/mês; excedente de $8 por 100k unidades, caindo para $6 acima de 50M.
promptfoorepositório	4.5/5	O promptfoo transforma testes de regressão de LLM e varreduras de red team em um arquivo YAML e um comando de CI; o novo dono é o ponto a observar.	Equipes que lançam apps de LLM e querem testes de regressão e varreduras de segurança no CI.	CLI gratuita e de código aberto (MIT); o uso Community inclui red teaming de até 10,000 sondagens por mês. Enterprise (nuvem gerenciada) e On-Premise têm preço sob consulta.
Inspectrepositório	4.4/5	Inspect é a estrutura de testes compartilhada das avaliações de segurança de IA governamentais e independentes; equipes de produto que verificam prompts em CI vão achá-lo mais framework do que precisam.	Pesquisadores e equipes de segurança que executam avaliações de agentes e de capacidades.	Gratuito e de código aberto sob a licença MIT.
LM Evaluation Harnessrepositório	4.4/5	A régua comum dos benchmarks de modelos, e o instrumento errado para julgar uma aplicação construída sobre um deles.	Pesquisadores e quem treina modelos comparando modelos em benchmarks padrão.	Gratuito e de código aberto sob a licença MIT.
MLflowrepositório	4.4/5	Continua sendo o lugar padrão para registrar experimentos de ML, agora com tracing e avaliação de LLM de graça; proteja o servidor antes que qualquer outra pessoa consiga acessá-lo.	Equipes de Python que treinam modelos e criam recursos com LLM e querem um único sistema de registro, gratuito e auto-hospedado, para os dois.	Grátis e de código aberto sob Apache-2.0; você paga só o servidor, o banco de dados e o armazenamento de objetos. O MLflow gerenciado na Databricks não tem preço de tabela próprio e é cobrado pela computação da Databricks; a Free Edition é só para uso pessoal.
Braintrustferramenta	4.3/5	O Braintrust é para equipes cuja pergunta mais difícil é se a última mudança melhorou o produto, e ele cobra por dados e não por pessoa, o que favorece equipes grandes e pesa para agentes que registram muito.	Equipes de produto que querem desenvolvimento orientado por avaliações com rastreamento hospedado e não se importam em pagar por um serviço gerenciado.	Starter gratuito (1 GB de dados, 10k pontuações, US$ 10 em créditos de modelos, retenção de 14 dias, usuários ilimitados; depois US$ 4/GB e US$ 2,50 por 1.000 pontuações). Pro US$ 249/mês (5 GB, 50k pontuações, US$ 100 em créditos de modelos, retenção de 30 dias; depois US$ 3/GB e US$ 1,50 por 1.000 pontuações). Enterprise sob medida, com SAML, BAA e data plane auto-hospedado. Startups qualificadas recebem o Pro grátis por 6 a 12 meses.
DeepEvalrepositório	4.2/5	Uma biblioteca de avaliação capaz, no estilo do pytest, cujo custo real é a conta do modelo juiz, com uma plataforma de US$ 200 por mês no fim do funil.	Equipes Python que estão adicionando verificações automáticas de qualidade a aplicações com LLM.	Gratuito e de código aberto sob a licença Apache 2.0. A plataforma hospedada da Confident AI é um produto pago separado.
Arize Phoenixrepositório	4.2/5	O Phoenix tem o ciclo de avaliação mais forte entre as ferramentas abertas de tracing, embalado em uma licença e em um dono sobre os quais os departamentos jurídicos vão querer conversar.	Engenheiros e cientistas de dados que querem tracing baseado em padrões com um ciclo de avaliação forte, começando em um notebook.	Gratuito para auto-hospedar sob a Elastic License 2.0 (código disponível; não é permitido hospedá-lo como serviço para terceiros). Arize AX gerenciada: Free (25k spans/mês, retenção de 15 dias, 1 GB); Pro a $50/mês (50k spans, 30 dias, 10 GB); Enterprise sob consulta.
LangSmithferramenta	4.2/5	O LangSmith tem o rastreamento e a avaliação mais profundos e maduros para agentes LangGraph, vendidos por assento a um preço que favorece equipes pequenas com orçamento grande.	Equipes que constroem agentes em produção sobre LangChain ou LangGraph e querem rastreamento, avaliação e implantação hospedados por um só fornecedor.	Developer gratuito (1 assento, 5.000 traces base/mês). Plus US$ 39/assento/mês (10.000 traces base, depois cobrança pelo uso; uma pequena implantação serverless). Enterprise sob consulta, com opções híbrida ou de hospedagem própria. Traces base guardados por 14 dias, traces estendidos por 180 dias.
Opikrepositório	4.1/5	O Opik entrega o servidor inteiro sob Apache 2.0 e vende o plano hospedado mais barato, mas a build auto-hospedada não tem contas de usuário e envia dados para casa por padrão.	Equipes que querem uma plataforma de rastreamento e avaliação com licença permissiva e auto-hospedável, ou uma hospedada de baixo custo.	Gratuito e de código aberto sob Apache 2.0. Nuvem: Free (25k spans/mês, retenção de 60 dias); Pro $19/mês (100k spans, depois $5 a cada 100k; add-on de retenção de 400 dias a $29 a cada 100k spans); Enterprise sob consulta.
Arize AXferramenta	4.1/5	O Arize AX oferece rastreamento e avaliações sérias de agentes sobre instrumentação aberta, mas os planos baratos se esgotam rápido e o roadmap agora pertence à Dynatrace.	Equipes de engenharia que rodam agentes em produção, querem rastreamento e avaliações hospedados sobre instrumentação aberta e portável e podem negociar um contrato Enterprise.	AX Free US$ 0 (25.000 spans, 1 GB por mês, retenção de 15 dias); AX Pro US$ 50/mês (50.000 spans, 10 GB, retenção de 30 dias); Enterprise sob medida com SSO, HIPAA e auto-hospedagem. Usuários ilimitados em todos os planos.
Datadog LLM Observabilityferramenta	4.0/5	Se a sua empresa já vive na Datadog, este é o lugar sensato para observar os seus agentes, e a cobrança por chamada ao modelo é mais justa do que parece à primeira vista.	Equipes de engenharia que já usam a Datadog e querem os traces dos agentes ao lado do monitoramento de serviços e infraestrutura.	Gratuito até 40 mil LLM spans/mês com retenção de 15 dias. Pro a partir de US$ 160/mês no anual, US$ 200 mês a mês ou US$ 240 sob demanda, para 100 mil LLM spans; depois US$ 3,50 (anual), US$ 4,20 (mês a mês) ou US$ 5 (sob demanda) a cada 10 mil LLM spans. Complementos de retenção listados a US$ 6,50, US$ 8 e US$ 9 a cada 10 mil spans por mês para 30, 60 e 90 dias. Só os LLM spans são cobrados.
TruLensrepositório	3.9/5	Uma biblioteca de avaliação sólida e nativa de OpenTelemetry, com um dono corporativo por trás, limitada por uma comunidade pequena e por uma inclinação para a Snowflake.	Equipes Python que avaliam apps de RAG ou agentes, sobretudo as que já armazenam dados na Snowflake.	Gratuito e open source sob a licença MIT. Você paga pelas chamadas ao modelo juiz que cada função de feedback faz; o AI Observability hospedado da Snowflake é um produto separado, cobrado pela Snowflake.
Splunk Agent Observabilityferramenta	3.7/5	Os pequenos modelos juízes do Galileo tornam barato pontuar todas as conversas de um agente, mas sob a Splunk ele virou uma compra corporativa com uma conversa de vendas pela frente.	Grandes organizações que já usam o Splunk Observability e querem pontuar todas as conversas dos agentes e bloquear ações inseguras em tempo de execução.	Agent Observability a partir de US$ 100/mês a cada 1,2M de spans por ano, com cobrança anual, incluindo 500M de tokens Luna e 5 execuções de fine-tuning do Luna por ano; tokens Luna extras e retenção maior sob cotação. O Splunk Observability Cloud Free Edition (até 15 hosts, sem prazo de validade) inclui rastreamento de agentes. Os antigos planos Free (5.000 traces/mês) e Pro (US$ 100/mês com cobrança anual, 50.000 traces) do Galileo não são mais publicados.
W&B Weaverepositório	3.6/5	Vale a pena ativar se os seus modelos já residem no Weights & Biases; a $0.10 por megabyte, é uma escolha difícil para quem está começando do zero.	Equipes que já usam Weights & Biases para treinamento de modelos e querem rastreamentos e avaliações de LLM no mesmo local.	SDK gratuito sob Apache 2.0. Hospedado: Free (1 GB de ingestão do Weave/mês); Pro a partir de $60/mês (1.5 GB, depois $0.10/MB); Enterprise sob consulta ($0.20/MB de excedente listado), com implantação dedicada.
Ragasrepositório	3.4/5	Os nomes das suas métricas viraram o vocabulário da avaliação de RAG, mas o código ficou sem mantenedor.	Equipes com uma suíte Ragas existente que conseguem fixar uma versão e carregar as próprias correções.	Gratuito e de código aberto sob a licença Apache 2.0. Você paga pelas chamadas à API do modelo juiz que cada métrica faz.

Lado a lado

As especificações que importam nesta etapa. Verificadas em 19 de out. de 2026; confirme no site do fornecedor antes de decidir.

Onde esta etapa se encaixa

• Converse com os seus documentos: começaríamos com Ragas.
• Agente de atendimento ao cliente: começaríamos com DeepEval.
• Agente de programação: começaríamos com Inspect.
• Pesquisa e grafo de conhecimento: começaríamos com Ragas.
• Assistente com memória de longo prazo: começaríamos com DeepEval.
• Pipeline de geração de imagens: começaríamos com promptfoo.
• Agente de voz: começaríamos com DeepEval.
• Processamento de documentos: começaríamos com DeepEval.
• O seu próprio modelo com fine-tuning: começaríamos com LM Evaluation Harness.

Fontes deste guia

• promptfoo: como avaliar pipelines de RAG
• Ragas no GitHub
• DeepEval no GitHub
• Inspect no GitHub
• LM Evaluation Harness no GitHub
• autoevals no GitHub
• Documentação da Braintrust