本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

LLM observability(LLMオブザーバビリティ)

LLM observability(LLMオブザーバビリティ、可観測性)とは、本番環境でAIアプリケーションが行うこと、つまりプロンプト、応答、ツール呼び出し、レイテンシ、トークン使用量、コストを、検索できるトレースとして記録することです。これにより障害をデバッグし、システムの挙動を長期的に把握できます。

別名: tracing, LLM monitoring, LLM tracing, traces, spans

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

通常のWebサービスは、例外や500エラーのように目に見える形で失敗します。LLMアプリケーションは多くの場合、静かに失敗します。自信ありげな誤答や、多数のツール呼び出しを繰り返した末に諦めるエージェントといった形です。オブザーバビリティツールは、何がなぜ起きたのかを確認できるだけの詳細を記録します。

LLMトレーシング

中心となる単位はトレースです。これらのツールの多くが対応するオープン標準のOpenTelemetryは、トレースをアプリケーション内でのリクエストの経路、スパンをその中の1つの作業単位と定義しています。LLMアプリでは、ユーザーの1つの質問が1つのトレースになり、そのスパンは検索クエリ、リランカー、各モデル呼び出し、各ツール呼び出しなどで、実行順に入れ子になります。各スパンは入力、出力、所要時間に加え、モデル名やトークン数などの属性を記録します。OpenTelemetryは生成AI向けのセマンティック規約も管理しており、異なるツールがこれらの項目に同じラベルを付けられるようにしています。

チームでの使い方

トレース全体を読んで、1つの悪い回答をデバッグします。遅いステップや増えていくトークンコストを見つけます。失敗をグループ化してパターンを探します。ユーザーのフィードバックをトレースに紐付け、実際の失敗をLLM評価や回帰テストのテストケースにします。多くのプラットフォームはトレーシングと評価を組み合わせています。たとえばLangfuse、Arize Phoenix、LangSmithです。オブザーバビリティ段階のガイドでこれらを比較しています。

限界と注意点

トレースにはユーザーが入力した内容がそのまま保存され、個人情報や機密データが含まれることがよくあります。そのため、本番データベースと同じようにPII redactionとアクセス制御を適用してください。また、すべてのリクエストの全トークンを記録するとストレージのコストがかかるため、チームは負荷の高いトラフィックをサンプリングします。

関連用語

LLM 評価
LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
回帰テスト(LLMアプリ)
LLMアプリの回帰テスト(regression testing)とは、プロンプト、モデル、検索の設定、ツールを変更するたびに固定の評価ケース群を再実行し、以前は動いていたのに今は失敗するケースを見つけることです。
LLM ゲートウェイ
LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
トークン料金
トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
PII redaction(個人情報のマスキング)
PII redaction(個人情報のマスキング)とは、テキストや画像をモデルに送る、ログに保存する、ほかの人に見せる前に、名前、電話番号、住所、カード番号などの個人を特定できる情報を検出し、削除または伏せ字にすることです。

出典