本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

GPQA

GPQA(Graduate-Level Google-Proof Q&A)は、生物学、物理学、化学の難しい多肢選択問題 448 問からなるベンチマークです。専門家が作成しており、熟練した非専門家はウェブ検索を無制限に使っても答えられないようになっています。

別名: Graduate-Level Google-Proof Q&A, GPQA Diamond

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

GPQA は 2023 年に David Rein らが発表しました。問題は、各分野の博士号を持つ人や取得を目指している人が作成し、確認しました。問題が難しいことを証明するため、著者らは他分野の熟練した検証者に問題を解かせ、自由にウェブを検索してよいことにしました。

数値

分野の専門家の正解率は 65%、後で気づいた誤りを差し引くと 74% でした。非専門家は、ウェブに完全にアクセスでき、1 問あたり平均 30 分以上かけたにもかかわらず、34% にとどまりました。これが「Google-proof」の意味で、答えを調べることができないのです。論文の中で最も強い GPT-4 のベースラインは 39% でした。

GPQA Diamond

論文は 3 つのセットを公開しています。546 問の拡張セット、448 問のメインセット、198 問の Diamond セットです。Diamond には、2 人の専門家の検証者がどちらも答えに同意し、3 人の非専門家のうち正解したのが 1 人以下だった問題だけが残されています。モデルの開発元が最もよく報告するのは Diamond 版です。

作られた理由

著者らが求めていたのは、scalable oversight(スケーラブルな監督)のためのテストでした。AI が人より詳しいかもしれない分野で、人がどうやって AI の回答を確認できるかという問題です。開発者にとって GPQA は難しい科学的推論の指標で、MMLU や Humanity's Last Exam と並べて報告されることがよくあります。多肢選択式で規模が小さいため、数問でスコアが動きます。また公開されているので、ベンチマーク汚染の可能性があります。1 つのスコアだけを読むのではなく、ランキングでモデル間を比べてください。

関連用語

AI ベンチマーク
AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
MMLU
MMLU(Massive Multitask Language Understanding)とは、初等数学や米国史から法律、コンピューターサイエンスまで57科目を対象とする多肢選択式のベンチマークで、言語モデルの幅広い知識と問題解決能力を測ります。
Humanity's Last Exam
Humanity's Last Exam(HLE)は、数十の科目にわたる、専門家が作成した 2,500 問からなるベンチマークです。AI モデルにとって非常に難しくなるよう作られており、答えは明確で確認できるものの、オンラインですぐには見つかりません。
推論モデル
推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。
ベンチマーク汚染
ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。

出典