O que é Braintrust?
O Braintrust combina avaliação e observabilidade. Você roda experimentos que comparam prompts e modelos contra datasets, pontua com código, juízes LLM ou revisão humana, e depois registra traces de produção e os pontua online com os mesmos scorers. Ele também oferece um playground de prompts, um gateway de IA para rotear chamadas de modelos, um servidor MCP, uma ferramenta de linha de comando bt e o Loop, um agente de IA que analisa logs e rascunha avaliações.
Os traces chegam por SDKs e integrações para OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI, Google ADK e outros, ou via OpenTelemetry. Os SDKs podem ocultar dados sensíveis antes do envio. A biblioteca open source autoevals (MIT) fornece scorers comuns.
O plano gratuito Starter inclui 1 GB de dados processados, 10.000 pontuações, US$ 10 em créditos de modelos e retenção de 14 dias com usuários ilimitados. O Pro custa US$ 249 por mês para 5 GB, 50.000 pontuações, US$ 100 em créditos de modelos e retenção de 30 dias (ampliável para 180 dias a US$ 0,50 por GB por mês). A auto-hospedagem do data plane, o SSO SAML e os acordos HIPAA são só do Enterprise. O Braintrust levantou uma Série B de US$ 80 milhões em fevereiro de 2026.
Quanto custa Braintrust?
| Plano | Preço | O que inclui |
|---|---|---|
| Starter | Free | 1 GB de dados, 10k pontuações, US$ 10 em créditos de modelos, retenção de 14 dias, usuários ilimitados; depois US$ 4/GB e US$ 2,50 por 1.000 pontuações |
| Pro | $249/month | 5 GB, 50k pontuações, US$ 100 em créditos de modelos, retenção de 30 dias; depois US$ 3/GB e US$ 1,50 por 1.000 pontuações |
| Enterprise | Custom | SAML, BAA e data plane auto-hospedado |
Starter gratuito (1 GB de dados, 10k pontuações, US$ 10 em créditos de modelos, retenção de 14 dias, usuários ilimitados; depois US$ 4/GB e US$ 2,50 por 1.000 pontuações). Pro US$ 249/mês (5 GB, 50k pontuações, US$ 100 em créditos de modelos, retenção de 30 dias; depois US$ 3/GB e US$ 1,50 por 1.000 pontuações). Enterprise sob medida, com SAML, BAA e data plane auto-hospedado. Startups qualificadas recebem o Pro grátis por 6 a 12 meses.
Braintrust vale a pena?
Você muda um prompt, a demonstração parece boa e, uma semana depois, um cliente encontra a resposta que ele quebrou sem alarde. Saber se uma mudança realmente ajudou é a parte difícil de lançar um produto de IA.
O Braintrust é construído primeiro em torno dessa pergunta e só depois em torno de logs. Suas execuções de teste, conjuntos de teste salvos, regras de pontuação e pontuação ao vivo compartilham um único modelo de dados, então uma resposta ruim da produção vira um caso de teste em poucos cliques. O mesmo scorer roda no seu CI antes de um merge e contra o tráfego real depois dele.
Você paga por dados processados e pontuações, não por pessoas, e todos os planos têm usuários ilimitados. Isso é mais amigável para uma organização de produto com 40 pessoas do que o modelo por licença do LangSmith, e menos amigável para um agente que escreve traces longos. Os US$ 249 por mês do Pro cobrem 5 GB e 50.000 pontuações; além disso, cada GB custa US$ 3 e cada 1.000 pontuações US$ 1,50, então pontuar cada requisição de produção com um juiz LLM é a linha que cresce mais rápido. Os dados são mantidos por 14 dias no Starter e 30 no Pro por padrão, com 180 dias disponíveis no Pro a US$ 0,50 por GB por mês.
O porém: manter seus traces na sua própria nuvem exige um contrato Enterprise, e o servidor não é open source. O desenho em si é sólido. Segundo a documentação de auto-hospedagem, o data plane (API, Postgres, Redis, armazenamento de objetos e o engine Brainstore) roda na sua conta AWS, GCP ou Azure a partir de módulos Terraform oficiais, os SDKs enviam os dados direto para ele, e o control plane hospedado do Braintrust guarda só metadados, como nomes de projetos, chaves de API com hash e dados de login. A telemetria de saúde e de cobrança continua voltando por padrão. A página de segurança do Braintrust declara SOC 2 Type II e oferece BAAs, e a própria empresa recomenda uma implantação auto-hospedada ou na sua própria nuvem na UE para conformidade total com o GDPR.
Integrá-lo traz pouco aprisionamento, porque a ingestão via OpenTelemetry e os scorers autoevals com licença MIT funcionam em outros lugares. O aprisionamento é o histórico de avaliações, os datasets e os scorers online que você acumula com o tempo.
Nossa opinião: quanto mais tempo você registra as pontuações no Braintrust, mais útil ele fica e mais difícil é sair. Esse registro de pontuações é exatamente o que ele faz melhor do que o Langfuse ou o Arize Phoenix, então entre sabendo dessa troca.
Onde ele se destaca
Uma equipe de seis engenheiros lançando um agente de suporte ao cliente
Impedir que mudanças de prompt quebrem respostas sem ninguém perceber
Um dataset de referência com tickets antigos roda como experimento a cada pull request, pontuado pelo autoevals e por um juiz LLM; regressões bloqueiam o merge. No Pro a US$ 249 por mês, 50.000 pontuações cobrem o CI mais uma amostragem da pontuação de produção.
Um líder de plataforma de ML em uma fintech com clientes na UE
Rastrear chamadas de LLM sem enviar dados de clientes a um SaaS dos EUA
Um contrato Enterprise implanta o data plane na própria conta AWS ou GCP da empresa com Terraform; traces, prompts e datasets ficam na região sob as próprias chaves KMS, enquanto o Braintrust hospeda só a interface e os metadados.
Um head de produto em uma startup de IA com 40 pessoas
Dar a PMs e engenheiros um único lugar para revisar a qualidade dos modelos
Usuários ilimitados significam nenhuma negociação por licença; os PMs acrescentam pontuações de revisão humana aos traces enquanto os engenheiros rodam experimentos. A fatura acompanha o volume de dados, então enxugar payloads grandes importa mais do que o número de pessoas.
Antes de decidir
- Configuração
- Crie um projeto, instale o SDK de Python ou TypeScript, encapsule o cliente do modelo e rode um primeiro Eval() contra um dataset pequeno; exportadores OpenTelemetry existentes podem apontar para o Braintrust.
- Integrações
- SDKs e wrappers para OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI e Google ADK; OpenTelemetry; gateway de IA; servidor MCP; CLI bt.
- Dados e privacidade
- SOC 2 Type II; dados criptografados em repouso e em trânsito; os termos self-service proíbem usar dados de clientes para treinar ou melhorar modelos de IA; políticas de retenção configuráveis; data plane auto-hospedado, SAML e BAA só no Enterprise.
- Custo em escala
- Um agente de produção que registra 20 GB por mês no Pro paga US$ 249 mais 15 GB a US$ 3, cerca de US$ 294, antes das pontuações extras a US$ 1,50 por 1.000 e da retenção além de 30 dias a US$ 0,50 por GB por mês.
- Limites
- O Starter mantém os dados por 14 dias e permite uma pontuação de revisão humana por projeto; o Pro mantém 30 dias, salvo ampliação; gráficos e ambientes personalizados exigem o Pro.
O que é bom
- Avaliações, datasets e pontuação online compartilham um único modelo de dados
- Usuários ilimitados em todos os planos, inclusive o gratuito
- A auto-hospedagem híbrida mantém os traces na sua conta AWS, GCP ou Azure
- Ingestão via OpenTelemetry e scorers autoevals open source
- SOC 2 Type II; BAAs disponíveis no Enterprise
O que não é
- O Pro começa em US$ 249 por mês, um salto grande a partir do gratuito
- Pontuar o tráfego de produção com juiz LLM acrescenta US$ 1,50 por 1.000 pontuações no Pro
- Retenção padrão de 14 ou 30 dias
- Servidor não é open source; auto-hospedagem e SAML só no Enterprise
Ideal para
Equipes de produto que querem desenvolvimento orientado por avaliações com rastreamento hospedado e não se importam em pagar por um serviço gerenciado.
Alternativas ao Braintrust
Braintrust: perguntas frequentes
- Braintrust vale a pena?
- O Braintrust é para equipes cuja pergunta mais difícil é se a última mudança melhorou o produto, e ele cobra por dados e não por pessoa, o que favorece equipes grandes e pesa para agentes que registram muito. Damos nota 4.3 de 5.
- Quanto custa Braintrust?
- Starter gratuito (1 GB de dados, 10k pontuações, US$ 10 em créditos de modelos, retenção de 14 dias, usuários ilimitados; depois US$ 4/GB e US$ 2,50 por 1.000 pontuações). Pro US$ 249/mês (5 GB, 50k pontuações, US$ 100 em créditos de modelos, retenção de 30 dias; depois US$ 3/GB e US$ 1,50 por 1.000 pontuações). Enterprise sob medida, com SAML, BAA e data plane auto-hospedado. Startups qualificadas recebem o Pro grátis por 6 a 12 meses.
- Quais são as desvantagens de Braintrust?
- O Pro começa em US$ 249 por mês, um salto grande a partir do gratuito; pontuar o tráfego de produção com juiz LLM acrescenta US$ 1,50 por 1.000 pontuações no Pro; retenção padrão de 14 ou 30 dias; servidor não é open source; auto-hospedagem e SAML só no Enterprise.
- Para quem Braintrust é indicado?
- Equipes de produto que querem desenvolvimento orientado por avaliações com rastreamento hospedado e não se importam em pagar por um serviço gerenciado.
- Quanto custa Braintrust para uma equipe ou em produção?
- Um agente de produção que registra 20 GB por mês no Pro paga US$ 249 mais 15 GB a US$ 3, cerca de US$ 294, antes das pontuações extras a US$ 1,50 por 1.000 e da retenção além de 30 dias a US$ 0,50 por GB por mês.
- Braintrust é seguro para dados da empresa?
- SOC 2 Type II; dados criptografados em repouso e em trânsito; os termos self-service proíbem usar dados de clientes para treinar ou melhorar modelos de IA; políticas de retenção configuráveis; data plane auto-hospedado, SAML e BAA só no Enterprise.
- Quais são as melhores alternativas ao Braintrust?
- As alternativas mais próximas que analisamos são LangSmith.
Respostas verificadas em 26 de out. de 2026.