本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

AI ベンチマーク

AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。

別名: benchmark, LLM benchmark, eval suite

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

ベンチマークは、この分野に共通の物差しを与えます。ある企業が新しいモデルはコーディングが得意だと言うとき、通常は SWE-bench などのベンチマークでスコアが高いという意味です。埋め込みモデルは MTEB で比較されます。スコアはリーダーボードや、このサイトのランキングに集められています。

ベンチマークのスコアの読み方

タスクが実際に何なのかを確認してください。多肢選択式の試験、実際の GitHub の課題の集まり、大勢による投票では、測っているものがまったく違います。採点の方法も確認してください。完全一致の答えか、ユニットテストの合格か、審査役のモデルかです。設定も確かめてください。何回の試行が許されたか(pass@k を参照)、どのツールとプロンプトを使ったか、テストを実施したのが開発企業自身か独立したグループかです。モデル間の小さな差は、テストの誤差の範囲内であることがよくあります。

スコアが誤解を招く理由

ベンチマークが役に立つのは、モデルがその答えを見ていない間だけです。テストの問題が学習データに漏れると、実際には改善していないのにスコアが上がります。これがベンチマーク汚染です。人気のあるベンチマークは飽和もします。上位のモデルがどれも上限近くのスコアを取るようになると、テストで差がつかなくなり、分野はより難しいテストに移ります。また、モデルは根底にある能力を高めないまま、ベンチマークの形式に合わせて調整されることがあります。

HELM プロジェクトは、1 つの正解率の数字では多くのことが隠れてしまうと主張し、キャリブレーションや頑健性を含む複数の指標で、多くのシナリオにわたってモデルを測定しました。

ベンチマークと自前の評価

公開のベンチマークは候補を絞り込むために使ってください。そのうえで、自分のタスクとデータで LLM 評価を行ってください。モデルがあなたのユーザーに対してどう働くかを教えてくれるテストは、それしかないからです。

関連用語

リーダーボード(AI)
AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。
ベンチマーク汚染
ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
SWE-bench
SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなりません。
MTEB
MTEB(Massive Text Embedding Benchmark)とは、テキスト埋め込みモデルを、検索、クラスタリング、分類、リランキングなど多くの種類のタスクで、多数のデータセットと言語にわたって評価する公開ベンチマークとリーダーボードです。
LLM 評価
LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
pass@k
pass@kとは、コードのベンチマークで使われる指標で、1つの問題に対して生成したk個の解のうち少なくとも1つがユニットテストに合格する確率を示します。pass@1は、1回の試行で成功する確率です。

出典