Datadog LLM Observabilityとは？
Datadog LLM Observabilityは、Datadogが現在Agent Observabilityとして販売している製品で、LLMアプリやエージェントのすべての手順をトレースとして記録します。対象はプロンプト、検索、ツール呼び出し、レイテンシー、トークン、コストです。トレースの上で、マネージドとカスタムのLLM-as-a-judge評価を実行し、プロンプトインジェクションと機密データを検査し、トラフィックをトピックごとにまとめます。さらにデータセット、実験、プロンプトのプレイグラウンド、人によるレビューのためのアノテーションキューも備えています。
アプリの計装には、PythonまたはNode.jsのSDK、Javaのトレーサー、OpenTelemetry、HTTP APIを使います。SDKはOpenAI、Anthropic、Bedrock、LangChain、CrewAI、LiteLLMの呼び出しをコードを変えずに記録します。単体でも購入できますが、特徴的なのは、エージェントのトレースを、すでにDatadogにあるサービス、インフラ、実ユーザーのセッションと結び付けられる点です。
課金の 対象はLLMスパン、つまりモデルプロバイダーへの個々の呼び出しだけです。ツール、検索、ワークフローの手順は無料です。Freeプランは月40,000 LLMスパンまでで、保持期間は15日です。Proは年間契約で月$160から（月ごとの契約なら$200、オンデマンドなら$240）で100,000スパンを含み、その後は10,000スパンごとに$3.50から$5です。
Datadog LLM Observabilityの料金は？
| プラン | 価格 | 内容 |
|---|---|---|
| Free | Free | 月40K LLMスパンまで、保持期間15日、評価込み |
| Pro | From $160/month annual | 100K LLMスパンで月ごとの契約は$200、オンデマンドは$240、その後は10K LLMスパンごとに$3.50から$5 |
Freeは月40K LLMスパンまで、保持期間15日。Proは年払いで月$160から、月ごとの契約で$200、オンデマンドで$240で、100K LLMスパンを含みます。その後は10K LLMスパンごとに$3.50（年払い）、$4.20（月ごとの契約）、$5（オンデマンド）です。保持期間の追加オプションは、30日、60日、90日でそれぞれ月10Kスパンあたり$6.50、$8、$9と記載されています。課金対象はLLMスパンだけです。
Datadog LLM Observabilityは使う価値があるか？
顧客から、チャットボットの答えが間違っていて、しかも遅かったと言われたとします。原因はプロンプトかもしれず、モデルかもしれず、遅いデータベースや混み合ったサーバーかもしれません。ほとんどのAIトレースツールが見られるのは最初の2つだけです。
Datadogのツールはエージェントの各手順を記録し、ほかのシステムと同じタイムラインに並べます。そのため遅い回答と過負荷のデータベースが隣り合って表示されます。エンジニアがすでにサーバーやアプリの監視にDatadogを使っていれば、この結び付きは追加の設定なしで手に入ります。私たちが取り上げている専門のトレースツールで、これに匹敵するものはありません。
課金の仕組みは予測しやすいものです。支払うのはモデルへの呼び出しだけで、その周りのツール呼び出しや検索の手順ごとには払いません。1回の会話でモデルを5回呼ぶエージェントなら、100,000回の会話で500,000スパンになります。年払いのProでは、月100万スパンは$160に、10,000スパンのブロック90個分を$3.50ずつ加えて約$475です。同じ月をオンデマンドで使うと約$690です。評価はスパンの価格に含まれるので、トラフィックの採点で二重に請求されることはありません。
注意点：Datadogで節約した分を、ほかで使ってしまうことがあります。LLMによる評価はあなた自身のOpenAI、Anthropic、Bedrock、Vertexのアカウントで動くので、評価したトレースごとに別のモデル料金がかかります。ドキュメントは費用を抑えるために、たとえば10%のサンプリングを勧めています。トレースの保持期間は、延長を購入しな い限り15日だけです。延長は30日から90日で月10,000スパンあたり$6.50から$9と記載されており、変更にはサポートへの依頼が必要です。最も安い価格には年間契約が必要です。Datadogは認証をアクセス申請が必要なTrust Centerに掲載しており、この製品は米国政府向けサイトでは利用できません。
結論：これはAIチームだけでなく運用チームのためにも選ぶトレースツールです。まだDatadogに支払っていないスタートアップなら、LangfuseやBraintrustのほうが得るものは大きいでしょう。すでに支払っている会社なら、エージェントのトレースをほかのすべてと並べて置くほうが得策です。
真価を発揮する場面
すでにDatadog APMを使っている従業員300人のEC企業のSREチーム
チャットボットの遅い回答がモデルによるものか自社のサービスによるものかを突き止める
チャットボットのサービスでSDKを有効にすると、そのトレースが既存のAPMスパンとトレースIDを共有するので、遅い回答からその裏にあるデータベースやAPIの呼び出しに直接たどれます。年払いで月$160のProで、最初の100,000回のモデル呼び出しをまかなえます。
社内向けHRアシスタントを作る2人のチーム
社員が何を尋ねるかを把握し、公開前にまずい回答を見つける
Freeプランの月40,000 LLMスパンで試験運用をまかなえます。トピックのグループ化で質問の傾向がわかり、自分のOpenAIキーでサンプリングしたLLMの評価が弱い回答に印を付けます。トレースは15日で消えるので、例はデータセットに保存してください。
顧客のメッセージを扱うフィンテック企業のプラットフォーム責任者
保存されるトレースから口座番号や個人データを除く
Sensitive Data Scannerが含まれ、10,000スパンごとに1 GBをスキャンできます。SDKのスパンプロセッサーで、データがアプリを出る前に伏せ字にしたり削除したりできます。AIアプリごとのトレースへのアクセスはチーム単位で制限できます。
導入前に確認すること
- 導入
- PythonまたはNode.jsのSDKをインストールし（またはJavaのトレーサーを使い）、DatadogのAPIキーとアプリ名を設定します。OpenAI、Anthropic、Bedrock、LangChain、CrewAI、LiteLLMの呼び出しはコードを変えずにトレースされます。Datadogによると、ほとんどのチームは数分でトレースを確認できます。
- 連携
- OpenAI、Anthropic、Gemini、Vertex AI、Bedrock。LangChain、CrewAI、Pydantic AI、LiteLLM、Strands Agents。OpenTelemetryのGenAI規約。HTTP API。外部の評価ツール向けのエクスポートAPI。NeMo。CLIとMCPによるアクセス。
- データとプライバシー
- トレースの保持期間は標準で15日、追加オプションで30日、60日、90日です。データセットとプロンプトは3年、メトリクスは15か月保持されます。Sensitive Data Scannerとアプリごとのアクセス制御が含まれます。認証はアクセス申請が必要なTrust Centerにあり、トレースのデータが学習に使われるかどうかはドキュメントに書かれていません。
- 大規模利用時のコスト
- 月100万LLMスパンは、年払いのProで約$475、月ごとの契約で$578、オンデマンドで$690です。これに保持期間の延長と、評価に使うモデル自体のトークン料金が加わります。
- 制限
- Freeプランでは保持期間の追加オプションを購入できません。実験の結果は無料プランとオンデマンドプランでは15日間保持されます。この製品はapp.ddog-gov.comとus2.ddog-gov.comでは提供されていません。
良い点
- エージェントのトレースがDatadog APM、インフラ、実ユーザーのセッションと結び付く
- 課金はモデル呼び出しのみで、ツールと検索の手順は無料
- Freeプランで月40,000 LLMスパン
- 評価、実験、データセット、アノテーションをすべてのプランで利用できる
- 機密データのスキャンが含まれる
気になる点
- LLMによる評価は自分のプロバイダーのアカウントで動き、そちらに課金される
- トレースの保持期間は標準で15日、延長は追加料金
- 最安の価格には年間契約が必要
- 保持期間の変更はUIではなくサポート経由
- Datadogの米国政府向けサイトでは利用できない
おすすめの人
すでにDatadogを運用していて、エージェントのトレースをサービスやインフラの監視と並べて見たいエンジニアリングチーム。
Datadog LLM Observabilityの代替
Datadog LLM Observability：よくある質問
- Datadog LLM Observabilityは使う価値があるか？
- 会社がすでにDatadogを使い込んでいるなら、エージェントを監視する場所としてはここが妥当です。モデル呼び出し単位の課金も、一見した印象より公平です。 評価は5点満点中4.0点です。
- Datadog LLM Observabilityの料金は？
- Freeは月40K LLMスパンまで、保持期間15日。Proは年払いで月$160から、月ごとの契約で$200、オンデマンドで$240で、100K LLMスパンを含みます。その後は10K LLMスパンごとに$3.50（年払い）、$4.20（月ごとの契約）、$5（オンデマンド）です。保持期間の追加オプションは、30日、60日、90日でそれぞれ月10Kスパンあたり$6.50、$8、$9と記載されています。課金対象はLLMスパンだけです。
- Datadog LLM Observabilityの欠点は？
- LLMによる評価は自分のプロバイダーのアカウントで動き、そちらに課金される; トレースの保持期間は標準で15日、延長は追加料金; 最安の価格には年間契約が必要; 保持期間の変更はUIではなくサポート経由; Datadogの米国政府向けサイトでは利用できない.
- Datadog LLM Observabilityは誰に向いているか？
- すでにDatadogを運用していて、エージェントのトレースをサービスやインフラの監視と並べて見たいエンジニアリングチーム。
- チームや本番環境でDatadog LLM Observabilityを使うと費用はいくらか？
- 月100万LLMスパンは、年払いのProで約$475、月ごとの契約で$578、オンデマンドで$690です。これに保持期間の延長と、評価に使 うモデル自体のトークン料金が加わります。
- Datadog LLM Observabilityは企業データを扱っても安全か？
- トレースの保持期間は標準で15日、追加オプションで30日、60日、90日です。データセットとプロンプトは3年、メトリクスは15か月保持されます。Sensitive Data Scannerとアプリごとのアクセス制御が含まれます。認証はアクセス申請が必要なTrust Centerにあり、トレースのデータが学習に使われるかどうかはドキュメントに書かれていません。
- Datadog LLM Observabilityの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はLangSmith, Braintrust 、 Arize AXです。
回答確認日：2026年11月2日
Datadog LLM Observabilityの開発元の方へ：この評価をサイトに掲載できます
