MTEB
MTEB(Massive Text Embedding Benchmark)とは、テキスト埋め込みモデルを、検索、クラスタリング、分類、リランキングなど多くの種類のタスクで、多数のデータセットと言語にわたって評価する公開ベンチマークとリーダーボードです。
別名: Massive Text Embedding Benchmark, MTEB leaderboard
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
MTEB以前、埋め込みモデルは通常、1つのタスクの少数のデータセットで、多くの場合は意味的類似度でテストされていました。そこで好成績のモデルが、検索では振るわないこともありました。MTEBの論文はより幅広いテストを導入し、最初の版では8つの埋め込みタスク、58のデータセット、112の言語を対象としました。
仕組み
各モデルはベンチマークのテキストをベクトルに変換し、各タスクがそれぞれの方法でそのベクトルを採点します。検索タスクでは、nDCGやrecall@kなどの指標を使い、正しい文書が上位に来るかを確認します。クラスタリングタスクでは、似たテキストがまとまるかを確認します。リランキング、分類、ペア分類、意味的類似度、要約のタスクがそろって全体を構成します。Hugging Faceでホストされているリーダーボードは、平均とタスクの種類ごとのスコアを表示します。
読み方
全体の平均ではなく、関心のあるタスク、通常は検索の列を見てください。言語と分野を確認しましょう。英語のWebテキストで首位のモデルが、法律の契約書や日本語では弱いこともあります。モデルのサイズ、埋め込みの次元数、最大入力長も比較してください。これらはコストと速度を左右します。公開されているAIベンチマークの常として、テストセットに近いデータで学習したモデルもありうるため、候補は自分のクエリと文書で確認してください。埋め込みモデル段階のガイドで各列を説明しています。
関連用語
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- 埋め込み
- 埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。
- 検索の指標(recall@k、nDCG、MRR)
- 検索の指標とは、検索システムが関連する文書をどれだけうまく返すかを評価するものです。recall@kは上位k件に関連項目がいくつ含まれるかを確認し、nDCGはそれらを上位に並べることを評価し、MRRは最初の正解がどれだけ早く現れるかを測ります。
- リランキング
- リランキング(reranking)とは、候補文書の短いリストを受け取り、最初の検索より正確だが遅いモデルを使って、クエリとの関連度で並べ替える2段目の検索ステップです。
- 埋め込みの次元数
- 埋め込みの次元数(embedding dimension)とは、埋め込みモデルが出力する各ベクトルに含まれる値の数です。次元が多いほど多くの細部を保持できますが、値が 1 つ増えるごとに、1 件あたりの保存、メモリ、検索のコストが増えます。