Braintrustとは？
Braintrustは評価とオブザーバビリティを組み合わせています。データセットに対してプロンプトやモデルを比較する実験を実行し、コード、LLMジャッジ、人間 のレビューで採点し、さらに本番のトレースを記録して同じスコアラーでオンラインで採点できます。プロンプトのプレイグラウンド、モデル呼び出しを振り分けるAIゲートウェイ、MCPサーバー、btコマンドラインツール、ログを分析して評価の下書きを作るAIエージェントLoopもあります。
トレースは、OpenAI、Anthropic、LangChain、LlamaIndex、Pydantic AI、Google ADKなど向けのSDKと連携機能、またはOpenTelemetryを通じて届きます。SDKはアップロード前に機密データを秘匿できます。オープンソースのautoevalsライブラリ（MIT）が一般的なスコアラーを提供します。
無料のStarterプランには、処理データ1 GB、スコア10,000件、$10分のモデルクレジット、14日間の保持期間が含まれ、ユーザー数は無制限です。Proは月$249で、5 GB、スコア50,000件、$100分のモデルクレジット、30日間の保持期間が付きます（1 GBあたり月$0.50で180日まで延長可能）。データプレーンのセルフホスト、SAML SSO、HIPAAの契約はEnterprise限定です。Braintrustは2026年2月に$80MのシリーズBを調達しました。
Braintrustの料金は？
| プラン | 価格 | 内容 |
|---|---|---|
| Starter | Free | データ1 GB、スコア10k件、$10分のモデルクレジット、保持期間14日、ユーザー数無 制限。超過分は1 GBあたり$4、1,000スコアあたり$2.50 |
| Pro | $249/month | 5 GB、スコア50k件、$100分のモデルクレジット、保持期間30日。超過分は1 GBあたり$3、1,000スコアあたり$1.50 |
| Enterprise | Custom | SAML、BAA、セルフホストのデータプレーン |
Starterは無料（データ1 GB、スコア10k件、$10分のモデルクレジット、保持期間14日、ユーザー数無制限。超過分は1 GBあたり$4、1,000スコアあたり$2.50）。Proは月$249（5 GB、スコア50k件、$100分のモデルクレジット、保持期間30日。超過分は1 GBあたり$3、1,000スコアあたり$1.50）。EnterpriseはSAML、BAA、セルフホストのデータプレーン付きで個別見積もり。条件を満たすスタートアップは6〜12か月間Proが無料です。
Braintrustは使う価値があるか？
プロンプトを変えて、デモは問題なさそうに見えたのに、1週間後に顧客が、その変更で密かに壊れた答えを見つける。変更が本当に役に立ったかどうかを知ることが、AI製品を出荷するうえで難しい部分です。
Braintrustは、まずその問いを中心に、次にロギングを中心に作られています。テストの実行、保存したテストセット、採点ルール、ライブの採点がすべて一つのデータモデルを共有しているので、本番の悪い回答は数クリックでテストケースになります。同じスコアラーが、マージ前にはCIで、マージ後にはライブのトラフィックに対して動きます。
支払うのは処理したデータとスコアに対してで、人数に対してではなく、すべてのプランでユーザー数は無制限です。これは40人のプロダクト組織にとってはLangSmithのシート課金より親切で、長いトレースを書くエージェントにとっては不親切です。Proの月$249で5 GBとスコア50,000件が賄え、それを超えると1 GBごとに$3、1,000スコアごとに$1.50かかります。そのため、本番のすべてのリクエストをLLMジャッジで採点すると、その項目が最も速く膨らみます。データの保持期間はデフォルトでStarterが14日、Proが30日で、Proでは1 GBあたり月$0.50で180日にできます。
注意点：トレースを自社のクラウドに置くにはEnterprise契約が必要で、サーバーはオープンソースではありません。設計そのものは堅実です。セルフホストのドキュメントによると、データプレーン（API、Postgres、Redis、オブジェクトストレージ、Brainstoreエンジン）は公式のTerraformモジュールを使って自社のAWS、GCP、Azureアカウントで動き、SDKはデータを直接そこに送り、Braintrustがホストするコントロールプレーンはプロジェクト名、ハッシュ化されたAPIキー、ログイン情報などのメタデータしか保持しません。ただし稼働状況と課金のテレメトリはデフォルトで送り返されます。BraintrustのセキュリティページにはSOC 2 Type IIが記載され、BAAも提供されており、同社自身もGDPRに完全に準拠するにはEUでのセルフホストか自社クラウドでの展開を勧めています。
組み込むこと自体のロックインはわずかです。OpenTelemetryの取り込みとMITライセンスのautoevalsスコアラーはほかでも使えるからです。ロックインになるのは、時間をかけて積み上げた評価の履歴、デー タセット、オンラインのスコアラーです。
結論：Braintrustで成績をつけ続けるほど、それは役に立つようになり、離れにくくなります。その成績管理こそが、LangfuseやArize Phoenixよりうまくできることなので、その取引を理解したうえで導入してください。
真価を発揮する場面
カスタマーサポートエージェントを出荷する6人のエンジニアチーム
プロンプトの変更で回答が密かに壊れるのを防ぐ
過去のチケットから作ったゴールデンデータセットが、プルリクエストごとに実験として実行され、autoevalsとLLMジャッジで採点されます。品質の低下があればマージを止めます。月$249のProなら、スコア50,000件でCIと本番のサンプリング採点を賄えます。
EUに顧客を持つフィンテック企業のMLプラットフォームリード
米国のSaaSに顧客データを送らずにLLMの呼び出しをトレースする
Enterprise契約で、Terraformによりデータプレーンを自社のAWSかGCPアカウントにデプロイします。トレース、プロンプト、データセットは自社のKMS鍵のもとでリージョン内にとどまり、BraintrustがホストするのはUIとメタデータだけです。
従業員40人のAIスタートアップのプロダクト責任者
PMとエンジニアがモデルの品質を確認できる場所を一つにまとめる
ユーザー数無制限なのでシート数の交渉は不要です。PMはトレースに人間のレビュースコアを付け、エンジニアは実験を実行します。請求額はデータ量に連動するため、人数よりも大きなペイロードを削ることのほうが重要です。
導入前に確認すること
- 導入
- プロジェクトを作成し、PythonかTypeScriptのSDKをインストールし、モデルのクライアントをラップして、小さなデータセットで最初のEval()を実行します。既存のOpenTelemetryエクスポーターの送り先をBraintrustに変えることもできます。
- 連携
- OpenAI、Anthropic、LangChain、LlamaIndex、Pydantic AI、Google ADK向けのSDKとラッパー。OpenTelemetry、AIゲートウェイ、MCPサーバー、bt CLI。
- データとプライバシー
- SOC 2 Type II。データは保存時も転送中も暗号化されます。セルフサービスの規約では、顧客データをAIモデルの学習や改善に使うことを禁じています。保持ポリシーは設定可能です。セルフホストのデータプレーン、SAML、BAAはEnterpriseのみ です。
- 大規模利用時のコスト
- Proで月20 GBを記録する本番エージェントは、$249に15 GB分の$3ずつを加えて約$294を払います。これに1,000スコアあたり$1.50の追加スコアと、1 GBあたり月$0.50の30日を超える保持期間が加わります。
- 制限
- Starterはデータを14日間保持し、人間のレビュースコアはプロジェクトごとに1種類までです。Proは延長しない限り30日間保持します。カスタムグラフと環境にはProが必要です。
良い点
- 評価、データセット、オンライン採点が一つのデータモデルを共有しています
- 無料を含むすべてのプランでユーザー数無制限です
- ハイブリッドのセルフホストで、トレースを自社のAWS、GCP、Azureアカウントに置けます
- OpenTelemetryの取り込みとオープンソースのautoevalsスコアラー
- SOC 2 Type II。EnterpriseではBAAを利用できます
気になる点
- Proは月$249からで、無料からの段差が大きいです
- 本番トラフィ ックのLLMジャッジによる採点は、Proで1,000スコアあたり$1.50が加わります
- デフォルトの保持期間は14日または30日です
- サーバーはオープンソースではなく、セルフホストとSAMLはEnterpriseのみです
おすすめの人
ホスト型のトレースを使った評価駆動の開発を望み、マネージドサービスにお金を払うことをいとわないプロダクトチーム。
Braintrustの代替
Braintrust：よくある質問
- Braintrustは使う価値があるか？
- Braintrustは、直前の変更で製品が良くなったかどうかが一番難しい問いになっているチームのためのものです。人数ではなくデータ量で課金するため、大きなチームには合い、大量にログを書くエージェントには痛手になります。 評価は5点満点中4.3点です。
- Braintrustの料金は？
- Starterは無料（データ1 GB、スコア10k件、$10分のモデルクレジット、保持期間14日、ユーザー数無制限。超過分は1 GBあたり$4、1,000スコアあたり$2.50）。Pro は月$249（5 GB、スコア50k件、$100分のモデルクレジット、保持期間30日。超過分は1 GBあたり$3、1,000スコアあたり$1.50）。EnterpriseはSAML、BAA、セルフホストのデータプレーン付きで個別見積もり。条件を満たすスタートアップは6〜12か月間Proが無料です。
- Braintrustの欠点は？
- Proは月$249からで、無料からの段差が大きいです; 本番トラフィックのLLMジャッジによる採点は、Proで1,000スコアあたり$1.50が加わります; デフォルトの保持期間は14日または30日です; サーバーはオープンソースではなく、セルフホストとSAMLはEnterpriseのみです.
- Braintrustは誰に向いているか？
- ホスト型のトレースを使った評価駆動の開発を望み、マネージドサービスにお金を払うことをいとわないプロダクトチーム。
- チームや本番環境でBraintrustを使うと費用はいくらか？
- Proで月20 GBを記録する本番エージェントは、$249に15 GB分の$3ずつを加えて約$294を払います。これに1,000スコアあたり$1.50の追加スコアと、1 GBあたり月$0.50の30日を超える保持期間が加わります。
- Braintrustは企業データを扱っても安全か？
- SOC 2 Type II。データは保存時も転送中も暗号化されます。セルフサービスの規約では、顧客データをAIモデルの学習や改善に使うことを禁じています。保持ポリシーは設定可能です。セルフホストのデータプレーン、SAML、BAAはEnterpriseのみで す。
- Braintrustの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はLangSmithです。
回答確認日：2026年10月26日