LLM observability(LLMオブザーバビリティ)
LLM observability(LLMオブザーバビリティ、可観測性)とは、本番環境でAIアプリケーションが行うこと、つまりプロンプト、応答、ツール呼び出し、レイテンシ、トークン使用量、コストを、検索できるトレースとして記録することです。これに より障害をデバッグし、システムの挙動を長期的に把握できます。
別名: tracing, LLM monitoring, LLM tracing, traces, spans
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
通常のWebサービスは、例外や500エラーのように目に見える形で失敗します。LLMアプリケーションは多くの場合、静かに失敗します。自信ありげな誤答や、多数のツール呼び出しを繰り返した末に諦めるエージェントといった形です。オブザーバビリティツールは、何がなぜ起きたのかを確認できるだけの詳細を記録します。
LLMトレーシング
中心となる単位はトレースです。これらのツールの多くが対応するオープン標準のOpenTelemetryは、トレースをアプリケーション内でのリクエストの経路、スパンをその中の1つの作業単位と定義しています。LLMアプリでは、ユーザーの1つの質問が1つのトレースになり、そのスパンは検索クエリ、リランカー、各モデル呼び出し、各ツール呼び出しなどで、実行順に入れ子になります。各スパンは入力、出力、所要時間に加え、モデル名やトークン数などの属性を記録します。OpenTelemetryは生成AI向けのセマンティック規約も管理しており、異なるツールがこれらの項目に同じラベルを付けられるようにしています。
チームでの使い方
トレース全体を読んで、1つの悪い回答をデバッグします。遅いステップや増えていくトークンコストを 見つけます。失敗をグループ化してパターンを探します。ユーザーのフィードバックをトレースに紐付け、実際の失敗をLLM評価や回帰テストのテストケースにします。多くのプラットフォームはトレーシングと評価を組み合わせています。たとえばLangfuse、Arize Phoenix、LangSmithです。オブザーバビリティ段階のガイドでこれらを比較しています。
限界と注意点
トレースにはユーザーが入力した内容がそのまま保存され、個人情報や機密データが含まれることがよくあります。そのため、本番データベースと同じようにPII redactionとアクセス制御を適用してください。また、すべてのリクエストの全トークンを記録するとストレージのコストがかかるため、チームは負荷の高いトラフィックをサンプリングします。
関連用語
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- 回帰テスト(LLMアプリ)
- LLMアプリの回帰テスト(regression testing)とは、プロンプト、モデル、検索の設定、ツールを変更するたびに固定の評価ケース群を再実行し、以前は動いていたのに今は失敗するケースを見つけることです。
- LLM ゲートウェイ
- LLM ゲートウェイ(LLM gateway)とは、アプリケーションとモデルの提供元の間に置くプロキシサーバーです。1 つの API を公開し、キー、ルーティング、フォールバック、レート制限、ログ、支出の追跡を 1 か所で扱います。
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- PII redaction(個人情報のマスキング)
- PII redaction(個人情報のマスキング)とは、テキストや画像をモデルに送る、ログに保存する、ほかの人に見せる前に、名前、電話番号、住所、カード番号などの個人を特定できる情報を検出し、削除または伏せ字にすることです。