Qu’est-ce que Braintrust ?
Braintrust réunit évaluation et observabilité. Vous lancez des expériences qui comparent prompts et modèles sur des datasets, les notez avec du code, des juges LLM ou une relecture humaine, puis vous journalisez les traces de production et les notez en ligne avec les mêmes scorers. Il propose aussi un playground de prompts, une passerelle IA pour router les appels de modèles, un serveur MCP, un outil en ligne de commande bt et Loop, un agent IA qui analyse les logs et rédige des évaluations.
Les traces arrivent via des SDK et des intégrations pour OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI, Google ADK et d'autres, ou via OpenTelemetry. Les SDK peuvent masquer les données sensibles avant l'envoi. Sa bibliothèque open source autoevals (MIT) fournit des scorers courants.
L'offre gratuite Starter comprend 1 Go de données traitées, 10 000 scores, 10 $ de crédits de modèles et 14 jours de conservation, avec utilisateurs illimités. Pro coûte 249 $ par mois pour 5 Go, 50 000 scores, 100 $ de crédits de modèles et 30 jours de conservation (extensible à 180 jours pour 0,50 $ par Go et par mois). L'auto-hébergement du data plane, le SSO SAML et les accords HIPAA sont réservés à Enterprise. Braintrust a levé 80 millions de dollars en série B en février 2026.
Combien coûte Braintrust ?
| Offre | Prix | Ce qui est inclus |
|---|---|---|
| Starter | Free | 1 Go de données, 10 000 scores, 10 $ de crédits de modèles, 14 jours de conservation, utilisateurs illimités ; puis 4 $/Go et 2,50 $ les 1 000 scores |
| Pro | $249/month | 5 Go, 50 000 scores, 100 $ de crédits de modèles, 30 jours de conservation ; puis 3 $/Go et 1,50 $ les 1 000 scores |
| Enterprise | Custom | SAML, BAA et data plane auto-hébergé |
Starter gratuit (1 Go de données, 10 000 scores, 10 $ de crédits de modèles, 14 jours de conservation, utilisateurs illimités ; puis 4 $/Go et 2,50 $ les 1 000 scores). Pro à 249 $/mois (5 Go, 50 000 scores, 100 $ de crédits de modèles, 30 jours de conservation ; puis 3 $/Go et 1,50 $ les 1 000 scores). Enterprise sur mesure, avec SAML, BAA et data plane auto-hébergé. Les startups éligibles ont Pro gratuitement pendant 6 à 12 mois.
Braintrust vaut-il le coup ?
Vous modifiez un prompt, la démo paraît correcte, et une semaine plus tard un client découvre la réponse que cette modification a discrètement cassée. Savoir si un changement a réellement aidé est la partie difficile du lancement d'un produit d'IA.
Braintrust est construit d'abord autour de cette question, et ensuite autour de la journalisation. Vos exécutions de tests, jeux de tests enregistrés, règles de notation et notation en direct partagent un même modèle de données, si bien qu'une mauvaise réponse en production devient un cas de test en quelques clics. Le même scorer tourne dans votre CI avant un merge et sur le trafic réel après.
Vous payez les données traitées et les scores, pas les personnes, et chaque offre a des utilisateurs illimités. C'est plus favorable à une organisation produit de 40 personnes que le modèle par licence de LangSmith, et moins favorable à un agent qui écrit de longues traces. Les 249 $ par mois de Pro couvrent 5 Go et 50 000 scores ; au-delà, chaque Go coûte 3 $ et chaque tranche de 1 000 scores 1,50 $, donc noter chaque requête de production avec un juge LLM est le poste qui grossit le plus vite. Les données sont conservées par défaut 14 jours sur Starter et 30 sur Pro, avec 180 jours possibles sur Pro pour 0,50 $ par Go et par mois.
Le hic : garder vos traces dans votre propre cloud suppose un contrat Enterprise, et le serveur n'est pas open source. La conception elle-même est saine. Selon la documentation d'auto-hébergement, le data plane (API, Postgres, Redis, stockage objet et moteur Brainstore) tourne dans votre compte AWS, GCP ou Azure à partir de modules Terraform officiels, les SDK y envoient directement les données, et le control plane hébergé par Braintrust ne détient que des métadonnées comme les noms de projets, les clés API hachées et les informations de connexion. La télémétrie d'état et de facturation remonte toujours par défaut. La page sécurité de Braintrust affiche SOC 2 Type II et propose des BAA, et l'entreprise recommande elle-même un déploiement auto-hébergé ou dans votre propre cloud dans l'UE pour une conformité totale au GDPR.
L'intégration crée peu de dépendance, car l'ingestion OpenTelemetry et les scorers autoevals sous licence MIT fonctionnent ailleurs. La dépendance, c'est l'historique d'évaluations, les datasets et les scorers en ligne que vous accumulez avec le temps.
Notre avis : plus vous tenez vos scores longtemps dans Braintrust, plus il devient utile et plus il est difficile d'en partir. Cette tenue des scores est précisément ce qu'il fait mieux que Langfuse ou Arize Phoenix : entrez-y en connaissant le marché.
Là où il fait la différence
Une équipe de six ingénieurs qui lance un agent de support client
Empêcher les modifications de prompt de casser discrètement les réponses
Un dataset de référence tiré d'anciens tickets tourne comme expérience sur chaque pull request, noté par autoevals et un juge LLM ; les régressions bloquent le merge. Sur Pro à 249 $ par mois, 50 000 scores couvrent la CI plus une notation par échantillonnage de la production.
Un responsable de plateforme ML dans une fintech qui a des clients européens
Tracer les appels LLM sans envoyer de données clients à un SaaS américain
Un contrat Enterprise déploie le data plane dans le propre compte AWS ou GCP de l'entreprise avec Terraform ; traces, prompts et datasets restent dans la région sous ses propres clés KMS, tandis que Braintrust n'héberge que l'interface et les métadonnées.
Un directeur produit dans une startup d'IA de 40 personnes
Donner aux PM et aux ingénieurs un seul endroit pour examiner la qualité des modèles
Les utilisateurs illimités évitent toute négociation par licence ; les PM ajoutent des notes de relecture humaine aux traces pendant que les ingénieurs lancent des expériences. La facture suit le volume de données, donc alléger les gros payloads compte plus que l'effectif.
Avant de vous engager
- Mise en route
- Créez un projet, installez le SDK Python ou TypeScript, encapsulez le client du modèle et lancez un premier Eval() sur un petit dataset ; les exportateurs OpenTelemetry existants peuvent pointer vers Braintrust à la place.
- Intégrations
- SDK et wrappers pour OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI et Google ADK ; OpenTelemetry ; passerelle IA ; serveur MCP ; CLI bt.
- Données et confidentialité
- SOC 2 Type II ; données chiffrées au repos et en transit ; les conditions en libre-service interdisent d'utiliser les données des clients pour entraîner ou améliorer des modèles d'IA ; politiques de conservation configurables ; data plane auto-hébergé, SAML et BAA uniquement sur Enterprise.
- Coût à grande échelle
- Un agent de production qui journalise 20 Go par mois sur Pro paie 249 $ plus 15 Go à 3 $, soit environ 294 $, avant les scores supplémentaires à 1,50 $ les 1 000 et la conservation au-delà de 30 jours à 0,50 $ par Go et par mois.
- Limites
- Starter conserve les données 14 jours et autorise une seule note de relecture humaine par projet ; Pro conserve 30 jours sauf extension ; les graphiques et environnements personnalisés exigent Pro.
Les points forts
- Évaluations, datasets et notation en ligne partagent un même modèle de données
- Utilisateurs illimités sur toutes les offres, gratuite comprise
- L'auto-hébergement hybride garde les traces dans votre compte AWS, GCP ou Azure
- Ingestion OpenTelemetry et scorers open source autoevals
- SOC 2 Type II ; BAA disponibles sur Enterprise
Les points faibles
- Pro démarre à 249 $ par mois, une grosse marche après l'offre gratuite
- Noter le trafic de production avec un juge LLM ajoute 1,50 $ les 1 000 scores sur Pro
- Conservation par défaut de 14 ou 30 jours
- Serveur non open source ; auto-hébergement et SAML uniquement sur Enterprise
Idéal pour
Les équipes produit qui veulent un développement piloté par l'évaluation avec un traçage hébergé et acceptent de payer un service managé.
Alternatives à Braintrust
Braintrust : questions fréquentes
- Braintrust vaut-il le coup ?
- Braintrust s'adresse aux équipes dont la question la plus difficile est de savoir si la dernière modification a amélioré le produit, et il facture les données plutôt que les personnes, ce qui convient aux grandes équipes et pénalise les agents qui journalisent beaucoup. Nous lui donnons 4.3 sur 5.
- Combien coûte Braintrust ?
- Starter gratuit (1 Go de données, 10 000 scores, 10 $ de crédits de modèles, 14 jours de conservation, utilisateurs illimités ; puis 4 $/Go et 2,50 $ les 1 000 scores). Pro à 249 $/mois (5 Go, 50 000 scores, 100 $ de crédits de modèles, 30 jours de conservation ; puis 3 $/Go et 1,50 $ les 1 000 scores). Enterprise sur mesure, avec SAML, BAA et data plane auto-hébergé. Les startups éligibles ont Pro gratuitement pendant 6 à 12 mois.
- Quels sont les inconvénients de Braintrust ?
- Pro démarre à 249 $ par mois, une grosse marche après l'offre gratuite; noter le trafic de production avec un juge LLM ajoute 1,50 $ les 1 000 scores sur Pro; conservation par défaut de 14 ou 30 jours; serveur non open source ; auto-hébergement et SAML uniquement sur Enterprise.
- À qui s’adresse Braintrust ?
- Les équipes produit qui veulent un développement piloté par l'évaluation avec un traçage hébergé et acceptent de payer un service managé.
- Combien coûte Braintrust pour une équipe ou en production ?
- Un agent de production qui journalise 20 Go par mois sur Pro paie 249 $ plus 15 Go à 3 $, soit environ 294 $, avant les scores supplémentaires à 1,50 $ les 1 000 et la conservation au-delà de 30 jours à 0,50 $ par Go et par mois.
- Braintrust est-il sûr pour les données de l’entreprise ?
- SOC 2 Type II ; données chiffrées au repos et en transit ; les conditions en libre-service interdisent d'utiliser les données des clients pour entraîner ou améliorer des modèles d'IA ; politiques de conservation configurables ; data plane auto-hébergé, SAML et BAA uniquement sur Enterprise.
- Quelles sont les meilleures alternatives à Braintrust ?
- Les alternatives les plus proches que nous avons testées sont LangSmith.
Réponses vérifiées le 26 oct. 2026.