TruLensとは？
TruLensは、LLMのアプリケーションとエージェントをトレースして評価するための、オープンソースのPythonのライブラリです。関数を@instrumentのデコレーターで包むと、各呼び出しがOpenTelemetryのスパンになり、フィードバック関数（LLMによる評価役や、より小さなモデル）が、スパンが届いた時点で、あるいは後から保存したデータセットに対して、それらを採点します。最もよく知られているのは、文脈の関連性、根拠の確かさ、回答の関連性から成るRAGの三要素で、現在はPlanAdherence、ToolSelection、ExecutionEfficiencyなど、7つのエージェント向けの評価器も備えています。
結果は標準ではローカルのSQLiteのファイルに保存され、PostgresやSnowflakeにも保存できます。Streamlitのダッシュボードで、アプリのバージョンをスコア、レイテンシー、コストで比べられます。評価役のプロバイダーには、OpenAI、LiteLLM、Gemini、Bedrock、Hugging Face、Snowflake Cortexがあります。
TruLensはTruEraから生まれたもので、Snowflakeは2024年5月にTruEraの買収で合意しました。Snowflakeはオープンソースのまま維持すると約束し、現在の主な貢献者は同社のエンジニアです。バージョン2.16.0は2026年10月19日に公開され、Python 3.10から3.14に対応し ています。
TruLensは使う価値があるか？
TruLensは、トレースとLLMによる採点を1つのライブラリで済ませたいPythonのチームにとって頼れる選択肢で、データがすでにSnowflakeにあるなら当然の選択です。トレースはOpenTelemetryに移ったので、スパンはTruLensの中にとどまらず、Jaeger、Grafana Tempo、Datadog、任意のOTLPのバックエンドにエクスポートできます。リリースは頻繁で、GitHubによると、2026年7月23日から10月19日までにマイナーバージョンが8つ出ています。
プロジェクトは競合よりずっと小さいものです。GitHubのスターは約3,600で、DeepEvalは約19,200、promptfooは約26,700です。PyPIでのtrulensのパッケージのダウンロードは、過去1か月で約20,100回でした。利用者が少ないということは、答えのある質問も第三者の例も少ないということで、コミット数で上位の貢献者はSnowflakeの社員なので、ロードマップはSnowflakeの優先順位に従います。CortexのプロバイダーとSnowflakeのコネクターは最優先のパッケージですが、SnowflakeのコネクターはいまもPython 3.13までです。
READMEのベンチマークの主張はプロジェクト自身のものです。LLM-AggreFactで根拠の確かさのF1が0.81と報告しており、Agent GPAの評価役は、人がアノテーションしたエージェントの誤り281件のうち267件（95%）を見つけたとして、自社のarXivの論文を引用しています。これらは役に立つ目安ですが、独立した結果ではなく、LLMによる採点はすべてそうであるように、評価役のモデルが変わればスコアも動きます。
費用の仕組みはDeepEvalやRagasと同じで、各レコードの各フィードバック関数につき、少なくとも1回の評価役の呼び出しがかかります。現在のバグの一覧は、集計が手薄な箇所を示しています。2026年10月11日の未解決のissueは、LangChainのプロバイダーでのフィードバック関数がトークンもコストも記録しないと報告しており、ダッシュボードが中心に据えるコストの比較を損なっています。私たちがソースを読んだ限り、利用状況のテレメトリーは見つかりませんでした。どちらも標準で利用状況のイベントを送るDeepEvalやRagasと比べて好ましい点です。
真価を発揮する場面
Snowflakeに保存した商品のコンテンツでRAGの検索を動かす小売企業のデータチーム
トレースをデータウェアハウスの外に出さずに、回答の品質を採点する
コネクターでTruLensのレコードをSnowflakeに記録し、評価役としてCortexのプロバイダーを使えば、プロンプトとスコアはアカウントの中にとどまります。ライブラリは無料で、評価役の呼び出しは別のAPIのアカウントではなく、Snowflakeの請求のCortexの利用分になります。
サポートのボットのために3つの検索の構成を比べるMLエンジニア
根拠の確かさを保ったまま、最も安い版を選ぶ
Run APIで各版を同じ質問のセットに対して実行し、RAGの三要素を採点し、ダッシュボードのリーダ ーボードでスコア、レイテンシー、コストを並べて読みます。繰り返し試す間はデータセットを抽出すれば、評価役の費用を抑えられます。
すでにOpenTelemetryで標準化している企業のプラットフォームエンジニア
別のトレースのバックエンドを採用せずに、評価のスコアを加える
TruLensのデコレーターで計装し、スパンをOTLPで既存のTempoやDatadogの環境にエクスポートし、TruLensは採点に、ダッシュボードは実験に使います。
導入前に確認すること
- 導入
- Python 3.10から3.14で、trulensとtrulens-providers-openaiのようなプロバイダーのパッケージをpip installし、関数に@instrumentを付け、フィードバック関数を定義して、Streamlitのダッシュボードを開きます。
- 連携
- OpenAI、Azure OpenAI、LiteLLM、Gemini、Bedrock、Snowflake Cortex、Hugging Face、LangChainのモデル向けの評価役のプロバイダー。LangChain、LangGraph、LlamaIndexとのアプリの連携。MCPのツール呼び出しのスパン。OTLPのエクスポート。
- データとプライバシー
- MITライセンスです。レコードは標準ではローカルのSQLiteに、あるいは自分のPostgresやSnowflakeにとどまります。入力と出力は、設定した評価役のプロバイダーに送られます。
- 大規模利用時のコスト
- ライブラリは無料です。評価役の費用は、レコード数とフィードバック関数の数と実行回数の積に比例します。Snowflakeの利用者は、第三者のAPIの請求の代わりにCortexの利用分を支払います。
- 制限
- 未解決のissueとプルリクエストは141件です。SnowflakeのコネクターとCortexのプロバイダーはPython 3.13までです。LangChainのプロバイダーのフィードバック関数では、トークンとコストが記録されません。
良い点
- OpenTelemetryのトレースを任意のOTLPのバックエンドにエクスポートできる
- RAG の三要素に加え、エージェント専用の7つの評価器
- MITライセンスで、Snowflakeが頻繁なリリースで保守している
- 標準はローカルのSQLite、チームならPostgresかSnowflake
- ソースに利用状況のテレメトリーが見つからない
気になる点
- コミュニティが小さく、スターは約3,600
- ロードマップがSnowflake CortexとSnowflakeのストレージに傾いている
- 精度の数字は自己申告
- 実際の運用コストはレコードごとの評価役の呼び出し
- 一部のプロバイダーではトークンとコストの追跡が不完全
おすすめの人
RAGのアプリやエージェントを評価するPythonのチーム、特にすでにSnowflakeにデータを保存しているチーム。
TruLensの代替
TruLens：よくある質問
- TruLensは使う価値があるか？
- 企業の後ろ盾を持つ、堅実でOpenTelemetryにネイティブな評価のライブラリです。ただし小さなコミュニティと、Snowflakeへの引力が足かせになっています。 評価は5点満点中3.9点です。
- TruLensの料金は？
- MITライセンスの無料のオープンソースです。支払うのは、各フィードバック関数が行う評価役のモデルの呼び出しの費用です。ホスト版のSnowflakeのAI Observabilityは別の製品で、Snowflakeを通じて課金されます。
- TruLensの欠点は？
- コミュニティが小さく、スターは約3,600; ロードマップがSnowflake CortexとSnowflakeのストレージに傾いている; 精度の数字は自己申告; 実際の運用コストはレコードごとの評価役の呼び出し; 一部のプロバイダーではトークンとコストの追跡が不完全.
- TruLensは誰に向いているか？
- RAGのアプリやエージェントを評価するPythonのチーム、特にすでにSnowflakeにデータを保存しているチーム。
- チームや本番環境でTruLensを使うと費用はいくらか？
- ライブラリは無料です。評価役の費用は、レコード数とフィードバック関数の数と実行回数の積に比例します。Snowflakeの利用者は、第三者のAPIの請求の代わりにCortexの利用分を支払います。
- TruLensは企業データを扱っても安全か？
- MITライセンスです。レコードは標準ではローカルのSQLiteに、あるいは自分のPostgresやSnowflakeにとどまります。入力と出力は、設定した評価役のプロバイダーに送られます。
- TruLensの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はDeepEval, Arize Phoenix, Opik 、 Ragasです。
回答確認日：2026年11月2日