Humanity's Last Exam
Humanity's Last Exam(HLE)は、数十の科目にわたる、専門家が作成した 2,500 問からなるベンチマークです。AI モデルにとって非常に難しくなるよう作られており、答えは明確で確認できるものの、オンラインですぐには見つかりません。
別名: HLE, HLE-Rolling
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
HLE は、MMLU などの古いテストで最良のモデルに差がつかなくなった後、2025 年に公開されました。作成者は、モデルがそうしたベンチマークで 90% を超えるスコアを取っていると指摘しています。問題は世界中の各科目の専門家が書いたもので、数学、人文科学、自然科学にわたります。画像を含む問題もあるため、テストはマルチモーダルです。
形式
問題は多肢選択式か短答式で、自動で採点できます。どの問題にも、手早いウェブ検索では見つからない、既知で明確な答えが 1 つあります。作成者は、この種の最後のクローズドエンドな学術ベンチマークとなることを意図していると説明しています。公開の問題とは別に、モデルが公開の問題に過剰適合していないかを確認するための非公開の検証用セットも保持しています。
更新
データセットは 2025 年 4 月に 2,500 問で確定し、論文は 2026 年 1 月に Nature に掲載されました。チームは HLE-Rolling という、時間とともに更新される動的な派生版も運営しています。Artificial Analysis Intelligence Index など一部のモデル評価では、その一部を使っています。
わかること、わから ないこと
HLE のスコアが高ければ、多くの場合テスト時計算の助けを借りて、モデルが難しい専門的な質問にうまく答えられることを意味します。モデルが自由度の高い調査や長いタスクをこなせることは示しません。それはエージェントのベンチマークが扱おうとしている領域です。キャリブレーション、つまりモデルが自分の間違えそうなときを把握しているかどうかも報告されており、多くの場合は低い水準です。科学に絞ったより小さなテストについては GPQA をご覧ください。
関連用語
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- GPQA
- GPQA(Graduate-Level Google-Proof Q&A)は、生物学、物理学、化学の難しい多肢選択問題 448 問からなるベンチマーク です。専門家が作成しており、熟練した非専門家はウェブ検索を無制限に使っても答えられないようになっています。
- MMLU
- MMLU(Massive Multitask Language Understanding)とは、初等数学や米国史から法律、コンピューターサイエンスまで57科目を対象とする多肢選択式のベンチマークで、言語モデルの幅広い知識と問題解決能力を測ります。
- 推論モデル
- 推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。
- ベンチマーク汚染
- ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。