Was ist Braintrust?
Braintrust verbindet Evaluierung und Observability. Du führst Experimente durch, die Prompts und Modelle anhand von Datasets vergleichen, bewertest sie mit Code, LLM-Judges oder menschlicher Prüfung und protokollierst dann Produktions-Traces, die du online mit denselben Scorern bewertest. Dazu kommen ein Prompt-Playground, ein AI Gateway zum Routing von Modellaufrufen, ein MCP-Server, ein Kommandozeilen-Tool namens bt und Loop, ein KI-Agent, der Logs analysiert und Evals entwirft.
Traces kommen über SDKs und Integrationen für OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI, Google ADK und andere herein oder über OpenTelemetry. Die SDKs können sensible Daten vor dem Upload schwärzen. Die Open-Source-Bibliothek autoevals (MIT) liefert gängige Scorer.
Der kostenlose Starter-Plan enthält 1 GB verarbeitete Daten, 10.000 Bewertungen, 10 $ Modellguthaben und 14 Tage Aufbewahrung bei unbegrenzten Nutzern. Pro kostet 249 $ im Monat für 5 GB, 50.000 Bewertungen, 100 $ Modellguthaben und 30 Tage Aufbewahrung (für 0,50 $ pro GB und Monat auf 180 Tage erweiterbar). Self-Hosting der Data Plane, SAML-SSO und HIPAA-Vereinbarungen gibt es nur bei Enterprise. Braintrust hat im Februar 2026 eine Series B über 80 Millionen $ eingesammelt.
Was kostet Braintrust?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Starter | Free | 1 GB Daten, 10k Bewertungen, 10 $ Modellguthaben, 14 Tage Aufbewahrung, unbegrenzte Nutzer; danach 4 $/GB und 2,50 $ pro 1.000 Bewertungen |
| Pro | $249/month | 5 GB, 50k Bewertungen, 100 $ Modellguthaben, 30 Tage Aufbewahrung; danach 3 $/GB und 1,50 $ pro 1.000 Bewertungen |
| Enterprise | Custom | SAML, BAA und selbst gehostete Data Plane |
Starter kostenlos (1 GB Daten, 10k Bewertungen, 10 $ Modellguthaben, 14 Tage Aufbewahrung, unbegrenzte Nutzer; danach 4 $/GB und 2,50 $ pro 1.000 Bewertungen). Pro 249 $/Monat (5 GB, 50k Bewertungen, 100 $ Modellguthaben, 30 Tage Aufbewahrung; danach 3 $/GB und 1,50 $ pro 1.000 Bewertungen). Enterprise individuell, mit SAML, BAA und selbst gehosteter Data Plane. Startups, die die Kriterien erfüllen, bekommen Pro 6 bis 12 Monate kostenlos.
Lohnt sich Braintrust?
Du änderst einen Prompt, die Demo sieht gut aus, und eine Woche später findet ein Kunde die Antwort, die dabei still kaputtgegangen ist. Zu wissen, ob eine Änderung wirklich geholfen hat, ist der schwierige Teil beim Ausliefern eines KI-Produkts.
Braintrust ist in erster Linie um diese Frage herum gebaut und erst in zweiter Linie fürs Logging. Deine Testläufe, gespeicherten Testsets, Bewertungsregeln und die Live-Bewertung teilen sich ein Datenmodell, sodass aus einer schlechten Antwort aus der Produktion mit wenigen Klicks ein Testfall wird. Derselbe Scorer läuft vor einem Merge in deiner CI und danach gegen den Live-Traffic.
Du zahlst für verarbeitete Daten und Bewertungen, nicht für Personen, und jeder Plan hat unbegrenzte Nutzer. Für eine Produktorganisation mit 40 Leuten ist das freundlicher als das Modell pro Platz von LangSmith, für einen Agenten, der lange Traces schreibt, weniger freundlich. Die 249 $ im Monat für Pro decken 5 GB und 50.000 Bewertungen ab; darüber hinaus kostet jedes GB 3 $ und jede 1.000 Bewertungen 1,50 $. Jede Produktionsanfrage mit einem LLM-Judge zu bewerten, ist also der Posten, der am schnellsten wächst. Daten werden standardmäßig 14 Tage bei Starter und 30 bei Pro aufbewahrt, bei Pro sind 180 Tage für 0,50 $ pro GB und Monat möglich.
Der Haken: Wer seine Traces in der eigenen Cloud behalten will, braucht einen Enterprise-Vertrag, und der Server ist nicht Open Source. Die Architektur selbst ist solide. Laut der Self-Hosting-Dokumentation läuft die Data Plane (API, Postgres, Redis, Objektspeicher und die Engine Brainstore) aus offiziellen Terraform-Modulen in deinem AWS-, GCP- oder Azure-Konto, die SDKs senden Daten direkt dorthin, und Braintrusts gehostete Control Plane hält nur Metadaten wie Projektnamen, gehashte API-Schlüssel und Anmeldedaten. Telemetrie zu Zustand und Abrechnung fließt standardmäßig trotzdem zurück. Braintrusts Sicherheitsseite nennt SOC 2 Type II und bietet BAAs an, und das Unternehmen selbst empfiehlt für volle DSGVO-Konformität ein selbst gehostetes Deployment oder eines in der eigenen Cloud in der EU.
Die Anbindung bringt wenig Lock-in mit sich, weil die Aufnahme über OpenTelemetry und die MIT-lizenzierten autoevals-Scorer auch anderswo funktionieren. Der Lock-in besteht aus der Eval-Historie, den Datasets und den Online-Scorern, die du mit der Zeit aufbaust.
Unser Fazit: Je länger du in Braintrust Buch führst, desto nützlicher wird es und desto schwerer fällt der Abschied. Genau dieses Buchführen kann es besser als Langfuse oder Arize Phoenix, geh also im Wissen um diesen Tausch hinein.
Wo es sich lohnt
Ein Team mit sechs Engineers, das einen Kundenservice-Agenten ausliefert
Verhindern, dass Prompt-Änderungen still Antworten kaputtmachen
Ein Golden Dataset aus früheren Tickets läuft bei jedem Pull Request als Experiment, bewertet durch autoevals und einen LLM-Judge; Regressionen blockieren den Merge. Bei Pro für 249 $ im Monat decken 50.000 Bewertungen die CI plus stichprobenartige Bewertung der Produktion ab.
Ein ML-Plattform-Lead bei einem Fintech mit EU-Kunden
LLM-Aufrufe tracen, ohne Kundendaten an ein US-SaaS zu senden
Ein Enterprise-Vertrag deployt die Data Plane mit Terraform in das eigene AWS- oder GCP-Konto des Unternehmens; Traces, Prompts und Datasets bleiben unter den eigenen KMS-Schlüsseln in der Region, während Braintrust nur die Oberfläche und Metadaten hostet.
Eine Produktchefin bei einem KI-Startup mit 40 Leuten
PMs und Engineers einen gemeinsamen Ort zur Prüfung der Modellqualität geben
Unbegrenzte Nutzer heißt keine Verhandlung über Plätze; PMs ergänzen Traces um menschliche Bewertungen, während Engineers Experimente fahren. Die Rechnung folgt dem Datenvolumen, große Payloads zu kürzen zählt also mehr als die Zahl der Köpfe.
Bevor du dich festlegst
- Einrichtung
- Ein Projekt anlegen, das Python- oder TypeScript-SDK installieren, den Modell-Client einbinden und ein erstes Eval() gegen ein kleines Dataset ausführen; bestehende OpenTelemetry-Exporter lassen sich stattdessen auf Braintrust richten.
- Integrationen
- SDKs und Wrapper für OpenAI, Anthropic, LangChain, LlamaIndex, Pydantic AI und Google ADK; OpenTelemetry; AI Gateway; MCP-Server; bt CLI.
- Daten und Datenschutz
- SOC 2 Type II; Daten im Ruhezustand und bei der Übertragung verschlüsselt; die Self-Service-Bedingungen verbieten, Kundendaten zum Training oder zur Verbesserung von KI-Modellen zu nutzen; konfigurierbare Aufbewahrungsrichtlinien; selbst gehostete Data Plane, SAML und BAA nur bei Enterprise.
- Kosten im großen Maßstab
- Ein Produktions-Agent, der bei Pro 20 GB im Monat protokolliert, zahlt 249 $ plus 15 GB zu je 3 $, etwa 294 $, vor zusätzlichen Bewertungen zu 1,50 $ pro 1.000 und Aufbewahrung über 30 Tage hinaus zu 0,50 $ pro GB und Monat.
- Grenzen
- Starter bewahrt Daten 14 Tage auf und erlaubt eine menschliche Bewertung pro Projekt; Pro bewahrt 30 Tage auf, sofern nicht verlängert; eigene Diagramme und Umgebungen brauchen Pro.
Was gut ist
- Evals, Datasets und Online-Bewertung teilen sich ein Datenmodell
- Unbegrenzte Nutzer in jedem Plan, auch im kostenlosen
- Hybrides Self-Hosting hält Traces in deinem AWS-, GCP- oder Azure-Konto
- Aufnahme über OpenTelemetry und Open-Source-Scorer von autoevals
- SOC 2 Type II; BAAs bei Enterprise erhältlich
Was nicht
- Pro beginnt bei 249 $ im Monat, ein großer Schritt vom kostenlosen Plan
- LLM-Judge-Bewertung des Produktions-Traffics kostet bei Pro zusätzlich 1,50 $ pro 1.000 Bewertungen
- Standardaufbewahrung von 14 oder 30 Tagen
- Server nicht Open Source; Self-Hosting und SAML nur bei Enterprise
Am besten für
Produktteams, die evaluierungsgetriebene Entwicklung mit gehostetem Tracing wollen und gern für einen verwalteten Dienst zahlen.
Alternativen zu Braintrust
Braintrust: häufige Fragen
- Lohnt sich Braintrust?
- Braintrust ist für Teams, deren schwierigste Frage lautet, ob die letzte Änderung das Produkt besser gemacht hat, und es rechnet nach Daten statt nach Personen ab, was großen Teams entgegenkommt und Agenten wehtut, die viel protokollieren. Wir bewerten es mit 4.3 von 5.
- Was kostet Braintrust?
- Starter kostenlos (1 GB Daten, 10k Bewertungen, 10 $ Modellguthaben, 14 Tage Aufbewahrung, unbegrenzte Nutzer; danach 4 $/GB und 2,50 $ pro 1.000 Bewertungen). Pro 249 $/Monat (5 GB, 50k Bewertungen, 100 $ Modellguthaben, 30 Tage Aufbewahrung; danach 3 $/GB und 1,50 $ pro 1.000 Bewertungen). Enterprise individuell, mit SAML, BAA und selbst gehosteter Data Plane. Startups, die die Kriterien erfüllen, bekommen Pro 6 bis 12 Monate kostenlos.
- Welche Nachteile hat Braintrust?
- Pro beginnt bei 249 $ im Monat, ein großer Schritt vom kostenlosen Plan; LLM-Judge-Bewertung des Produktions-Traffics kostet bei Pro zusätzlich 1,50 $ pro 1.000 Bewertungen; Standardaufbewahrung von 14 oder 30 Tagen; Server nicht Open Source; Self-Hosting und SAML nur bei Enterprise.
- Für wen eignet sich Braintrust?
- Produktteams, die evaluierungsgetriebene Entwicklung mit gehostetem Tracing wollen und gern für einen verwalteten Dienst zahlen.
- Was kostet Braintrust für ein Team oder im Produktivbetrieb?
- Ein Produktions-Agent, der bei Pro 20 GB im Monat protokolliert, zahlt 249 $ plus 15 GB zu je 3 $, etwa 294 $, vor zusätzlichen Bewertungen zu 1,50 $ pro 1.000 und Aufbewahrung über 30 Tage hinaus zu 0,50 $ pro GB und Monat.
- Ist Braintrust sicher für Firmendaten?
- SOC 2 Type II; Daten im Ruhezustand und bei der Übertragung verschlüsselt; die Self-Service-Bedingungen verbieten, Kundendaten zum Training oder zur Verbesserung von KI-Modellen zu nutzen; konfigurierbare Aufbewahrungsrichtlinien; selbst gehostete Data Plane, SAML und BAA nur bei Enterprise.
- Was sind die besten Alternativen zu Braintrust?
- Die nächsten Alternativen, die wir getestet haben, sind LangSmith.
Antworten geprüft am 26. Okt. 2026.