本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

MMLU

MMLU(Massive Multitask Language Understanding)とは、初等数学や米国史から法律、コンピューターサイエンスまで57科目を対象とする多肢選択式のベンチマークで、言語モデルの幅広い知識と問題解決能力を測ります。

別名: Massive Multitask Language Understanding, MMLU-Pro

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

MMLUは2020年にDan Hendrycksらが発表しました。学校レベルから専門家レベルまでの57のタスクにわたり、それぞれ4つの選択肢を持つ多肢選択式の問題を出します。モデルのスコアは正答率です。一般知識を1つの数字で示せるため、数年間はほぼすべてのモデル発表で中心となる数字でした。

重要性が下がった理由

ベンチマークは使い古されます。Humanity's Last Examの著者らは、現在のモデルがMMLUのような人気のベンチマークで90%を超えるスコアを出しており、強いモデル同士を見分ける余地がほとんどないと指摘しています。MMLU-Proの著者らはMMLUに簡単すぎる問題やノイズの多い問題を見つけており、テストが長く公開されているためベンチマーク汚染も現実的な懸念です。現在、MMLUの高スコアが示すのは、主にそのモデルが弱くないということです。

MMLU-Pro

2024年のMMLU-Proは、より難しい版です。推論を重視した問題を加え、選択肢を4つから10に増やして当て推量が報われにくくし、簡単すぎる問題やノイズの多い問題を取り除いています。著者らは、MMLUと比べて正答率が16%から33%下がり、プロンプトの言い回しに左右されにくく、chain-of-thought推論でより良い結果が出ると報告しています。これは、記憶だけでなく推論も測っていることを示唆します。

使い方

MMLUとMMLU-Proは、幅広い知識の確認として扱ってください。難しい科学の問題についてはGPQAを、モデルの総合的な順位についてはリーダーボードや当サイトのランキングをご覧ください。

関連用語

AI ベンチマーク
AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
GPQA
GPQA(Graduate-Level Google-Proof Q&A)は、生物学、物理学、化学の難しい多肢選択問題 448 問からなるベンチマークです。専門家が作成しており、熟練した非専門家はウェブ検索を無制限に使っても答えられないようになっています。
Humanity's Last Exam
Humanity's Last Exam(HLE)は、数十の科目にわたる、専門家が作成した 2,500 問からなるベンチマークです。AI モデルにとって非常に難しくなるよう作られており、答えは明確で確認できるものの、オンラインですぐには見つかりません。
ベンチマーク汚染
ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
リーダーボード(AI)
AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。

出典