本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

検索の指標(recall@k、nDCG、MRR)

検索の指標とは、検索システムが関連する文書をどれだけうまく返すかを評価するものです。recall@kは上位k件に関連項目がいくつ含まれるかを確認し、nDCGはそれらを上位に並べることを評価し、MRRは最初の正解がどれだけ早く現れるかを測ります。

別名: recall@k, nDCG, MRR, precision@k, mean reciprocal rank

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

検索拡張生成アプリの回答が悪いとき、最初に問うべきは、検索が正しい文章を見つけたかどうかです。検索の指標は、回答の品質とは別にその問いに答えます。必要なのはラベル付きのセット、つまり返ってくるべき文書を付けたクエリで、多くの場合ゴールデンデータセットの一部です。

Recall@k

あるクエリに関連するすべての文書のうち、上位k件の結果に含まれるのはどれだけの割合か。3つの文章が質問に答えるもので、そのうち2つが上位5件に入っていれば、recall@5は3分の2です。モデルは与えられたものしか使えないため、RAGではこれが最も重要な数字であることがよくあります。

Precision@k

上位k件の結果のうち、関連するものはどれだけの割合か。precisionが低いと、プロンプトがノイズだらけになります。

nDCG

Normalized discounted cumulative gainは、段階的な関連度(とても関連する、やや関連する、関連しない)を使い、良い結果が下に現れるほど評価を小さくします。クエリ間で比較できるよう、0から1の尺度に正規化されています。MTEBの検索タスクを含め、多くの検索ベンチマークがこれを報告しています。

MRR

Mean reciprocal rankは最初の正解だけを見ます。1位なら1、2位なら1/2、3位なら1/3とし、クエリ全体で平均します。正解が1つのタスクに向いています。

使い方

チャンキング、埋め込みモデル、リランキング、インデックスの設定を変えるたびに、同じクエリのセットを実行してください。検索の指標は、最終的な回答のLLM評価と組み合わせて使います。

関連用語

LLM 評価
LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
ゴールデンデータセット
ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。
MTEB
MTEB(Massive Text Embedding Benchmark)とは、テキスト埋め込みモデルを、検索、クラスタリング、分類、リランキングなど多くの種類のタスクで、多数のデータセットと言語にわたって評価する公開ベンチマークとリーダーボードです。
リランキング
リランキング(reranking)とは、候補文書の短いリストを受け取り、最初の検索より正確だが遅いモデルを使って、クエリとの関連度で並べ替える2段目の検索ステップです。
検索拡張生成(RAG)
検索拡張生成(retrieval-augmented generation、RAG)とは、システムがまず文書の集まりから質問に関連する文章を検索し、その文章を言語モデルに渡して、それに基づいて回答させるパターンです。

出典