Ragasとは？
Ragasは、モデルが検索したドキュメントをもとに回答する検索拡張生成（RAG）アプリを評価するためのPythonライブラリです。開発は事実上停止しています。最後のリリースであるv0.4.3は2026年1月13日に公開され、最後のコミットは2026年2月24日に行われており、それ 以降に作成されたコミュニティのプルリクエストはマージされていません。GitHubの組織名はexplodinggradientsからvibrantlabsaiへと移行され、現在のVibrant Labsはエージェント向け強化学習データを販売する研究ラボを名乗っています。
本ライブラリはfaithfulness、answer relevancy、context precisionなどのメトリクスを提供しており、その多くはjudge modelに各サンプルの採点を要求します。さらに、カスタムのLLM判定メトリクスや合成テストセットの生成機能も備えています。LangChain、LlamaIndex、Haystack、Amazon Bedrockの各モデルと連携可能です。
現在でも広く使われており、PyPIでは2026年10月23日までの1か月間に約105万回のダウンロードが記録されています。
Ragasは使う価値があるか？
Ragasは現在、新規に採用するライブラリというよりは、既存環境で稼働させ続けるためのライブラリとなっています。faithfulnessやcontext precisionの定義はチュートリアルや競合ツールで広く引用されており、現在でも月間約100万回のPyPIダウンロードを集めていますが、プロジェクトを主導する開発者はいません。最後のコミットは2026年2月24日で、約250件のプルリクエストが開いたままになっており、2026年10月9日に投稿された「This project is not maintained anymore」というタイトルのIssueには返答がありません。
オープンなプルリクエストの内容を見ると、ユーザーがどのような問題に直面しているかがわかります。いくつかのプルリクエストは、同期的な埋め込み呼び出しによってanswer relevancyが非同期イベントループをブロックし、evaluate()の実行中に関係のないタスクが停止する問題を修正しています。また 、通知なしに無視されていたfew-shotのしきい値や、マッピングされていなかったBedrockの推論モデルIDを修正するものもあります。これらはいずれも、フォーク環境から自力で適用しなければならないパッチです。
規模が大きくなると、コストモデルが重要になります。RagasのほとんどのメトリクスはLLMによって判定されるため、すべてのサンプルで1回以上のモデル呼び出しが発生し、スコアは実行ごとやjudge modelごとに変動する可能性があります。毎晩何千ものサンプルを採点するチームは、無料のテストスイートを実行しているのではなく、API利用料を支払い、そのばらつきを受け入れていることになります。
テレメトリは多くの読者が見落としがちな点です。Ragasはデフォルトでexplodinggradients.comのエンドポイントに匿名の使用状況イベントを送信するため、無効化するには環境変数RAGAS_DO_NOT_TRACK=trueを設定する必要があります。規制の厳しい環境では、このライブラリをどう評価するかにかかわらず、初回の実行前にこの設定を行っておくべきです。
真価を発揮する場面
CIにRagasのテストスイートを導入済みの5人規模のチームに所属するMLエンジニア
移行先を検討しながら、夜間のRAGリグレッションスコアの比較可能性を維持することです。
ragas==0.4.3にバージョンを固定し、RAGAS_DO_NOT_TRACK=trueを設定したうえで、スコアの比較可能性を保つためにjudge modelを固定します。費用はサンプルごとのjudge modelのAPI呼び出し代のみですが、answer relevancyにおけるイベントループのブロッキングといった不具合の修正を自前で保守するリスクが伴います。
RAGに関する論文の評価セクションを執筆している研究者
査読者に認知されている定義に基づいてfaithfulnessおよびcontext precisionを報告することです。
Ragasのメトリクス定義は広く引用されているため、単発の研究で使用する際に正当性を細かく説明する必要はほとんどありません。LLM判定によるスコアはバージョンとjudge modelの双方によって変動するため、使用したバージョンとモデルを記録しておきます。
評価基盤の選定を担当する200人規模の保険会社のAI責任者
チームが今後2年間にわたって信頼して利用できる評価ライブラリを選定することです。
Ragasのライセンス費用はかかりませんが、メンテナーが存在しないため、バグ修正やモデルの更新対応はすべて社内チームの負担となります。同様のRAGメトリクスを備え、現在もリリースが活発なDeepEvalやpromptfooの採用を検討します。
導入前に確認すること
- 導入
- Python 3.9以上でpip install ragasを実行し、judge modelのAPIキーを用意します。ragas quickstart rag_evalを実行すれば、数分でサンプルのプロジェクト構造が生成されます。
- 連携
- LangChain、LlamaIndex、Haystackのラッパー、llm_factoryを通じたOpenAI、Anthropic、Google、Bedrockの各モデル、およびAG-UIメッセージ形式に対応しています。
- データとプライバシー
- Apache 2.0です。匿名の利用状況テレメトリはデフォルトで有効になっており、t.explodinggradients.comに送信されます。停止するにはRAGAS_DO_NOT_TRACK=trueを設定してください。評価対象のサンプルは設定したjudge modelのAPIに送信されます。公開されたセキュリティアドバイザリはありません。
- 大規模利用時のコスト
- ライブラリ自体は無料で、有料プランはありません。実際のコストはjudge modelのトークン費用です。LLM判定メトリクスはサンプルあたり少なくとも1回のモデル呼び出しを行うため、夜間の大規模なテストスイートを実行するとAPI料金がかさみます。
- 制限
- 未解決のIssueとプルリクエストが634件あり、2026年2月以降は1件もマージされていません。既知の不具合として、answer relevancyにおける同期的な埋 め込み呼び出しがイベントループをブロックする問題などがあります。quickstartテンプレートはrag_evalのみが存在し、エージェント用テンプレートは準備中と記載されたままです。
良い点
- 広く引用されているfaithfulnessおよびcontext precisionの定義
- 手元のドキュメントからの合成テストセット生成
- LangChain、LlamaIndex、Haystackとの統合
- Apache 2.0ライセンス
気になる点
- 2026年2月24日以降コミットがなく、約250件のプルリクエストが未マージ
- 利用状況テレメトリがデフォルトで有効
- LLM判定のスコアは実行回やjudge modelによって変動
- バージョン間のAPI変更により多くのオンラインサンプルが動作不能
おすすめの人
バージョンを固定し、自力で修正パッチを適用できる体制があり、すで にRagasのテストスイートを保有しているチームに適しています。
Ragasの代替
Ragas：よくある質問
- Ragasは使う価値があるか？
- そのメトリクス名はRAG評価の共通言語となりましたが、コードベースはメンテナー不在のまま放置されています。 評価は5点満点中3.4点です。
- Ragasの料金は？
- Apache 2.0ライセンスに基づく無料のオープンソースです。各メトリクスが実行するjudge modelのAPI呼び出し費用が発生します。
- Ragasの欠点は？
- 2026年2月24日以降コミットがなく、約250件のプルリクエストが未マージ; 利用状 況テレメトリがデフォルトで有効; LLM判定のスコアは実行回やjudge modelによって変動; バージョン間のAPI変更により多くのオンラインサンプルが動作不能.
- Ragasは誰に向いているか？
- バージョンを固定し、自力で修正パッチを適用できる体制があり、すでにRagasのテストスイートを保有しているチームに適しています。
- チームや本番環境でRagasを使うと費用はいくらか？
- ライブラリ自体は無料で、有料プランはありません。実際のコストはjudge modelのトークン費用です。LLM判定メトリクスはサンプルあたり少なくとも1回のモデル呼び出しを行うため、夜間の大規模なテストスイートを実行するとAPI料金がかさみます。
- Ragasは企業データを扱っても安全か？
- Apache 2.0です。匿名の利用状況テレメトリはデフォルトで有効になっており、t.explodinggradients.comに送信されます。停止するにはRAGAS_DO_NOT_TRACK=trueを設定してください。評価対象のサンプルは設定したjudge modelのAPIに送信されます。公開されたセキュリティアドバイザリはありません。
- Ragasの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はDeepEval 、 promptfooです。
回答確認日：2026年10月26日