AIME(ベンチマーク)
AIME(American Invitational Mathematics Examination)は、0 から 999 までの整数で答える 15 問の米国の数学コンテストです。AI 企業は AIME 2025 などの過去問を、数学の推論能力を測るベンチマークとして使っています。
別名: AIME 2025, AIME 2024, American Invitational Mathematics Examination
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
この名前には 2 つの意味があります。1 つ目は、Mathematical Association of America が実施する実際の試験で、AMC 10 または AMC 12 で好成績を収めた生徒が受験します。問題は 15 問、解答時間は合計 3 時間で、USA Mathematical Olympiad へ進む道筋の途中に位置します。
AI ベンチマークとしての AIME
2 つ目は、モデルの発表で「AIME 2025」と書かれる場合で、その年の問題に対するモデルのスコアを指します。AIME が AI のテストに向いているのは、問題が何段階もの推論を必要とする一方、答えはすべて 0 から 999 の単一の整数なので、採点を自動かつ正確に行えるからです。Artificial Analysis Intelligence Index などの評価では、数式の等価性チェッカーを使って AIME 2025 を採用してきました。
スコアの読み方
AIME の結果は、回答する前に追加のテスト時計算を使って問題を解き進める推論モデルの力を示す一般的な方法になりました。1 回の試験は 15 問しかないため、1 問でスコアが大きく動きます。モデル間の小さな差にはあまり意味がありません。過去問はオンラインで公開されているので、古い年の問題は学習データ に漏れている可能性があります。これはベンチマーク汚染と呼ばれるリスクです。そのため、報告では通常年を明記し、最新の年が最も信頼できます。
限界
AIME が測るのは、短い答えで解くコンテスト数学です。証明、コードでの応用数学、解き方をわかりやすく説明する力についてはほとんどわかりません。数あるベンチマークのうちの 1 つの指標として使ってください。
関連用語
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- 推論モデル
- 推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。
- ベンチマーク汚染
- ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
- Test-time compute(推論時の計算)
- Test-time compute(推論時の計算)とは、モデルが学習中ではなく、リクエストに答える間に使う計算量のことです。モデルに長く考えさせたり、複数の回答を試させたりすると、難しい問題で結果が良くなることがあります。
- Chain-of-thought
- Chain-of-thought(CoT、思考の連鎖)とは、言語モデルが最終的な回答の前に中間の推論の手順を書き出すプロンプトの手法です。数学、論理、その他の複数の手順を要する問題で結果がよくなる傾向があります。