ARC-AGI
ARC-AGI は、François Chollet が始め、ARC Prize が運営する一連のベンチマークです。AI システムが見たことのない新しい推論パズルを解けるかを試し、何を知っているかではなく、どれだけ効率よく学ぶかを測ります。
別名: Abstraction and Reasoning Corpus, ARC-AGI-2, ARC-AGI-3, ARC Prize
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ほとんどのベンチマークは、あるタスクの技能を試します。Chollet は 2019 年の論文 On the Measure of Intelligence で、技能だけでは不十分な尺度だと主張しました。学習データが無制限にあれば、開発者は本当の汎化なしに技能を手に入れられるからです。彼は知能を技能獲得の効率として定義することを提案し、それを試すために Abstraction and Reasoning Corpus(ARC)を公開しました。
どう設計されているか
ARC のタスクは、core knowledge priors(中核知識の事前知識)、つまり人が生まれつき持っているか、ごく早い時期に身につける認知の基本要素だけに頼ります。文化的な知識や専門知識を避けているので、人と AI を公平に比べられます。ARC Prize によれば、このベンチマークが対象とするのは、蓄積した知識から築かれる結晶性知能ではなく、推論し新しい問題に適応する力である流動性知能です。どのタスクも新しいため、学習データを暗記してもあまり役に立ちません。
シリーズ
最初のセットは現在 ARC-AGI-1 と呼ばれています。ARC Prize はその後 ARC-AGI-2 と ARC-AGI-3 を公開し、毎年コンテストを開いており、それぞれに公開のリーダーボードがあります。スコアはバージョンごとに変わるので、最新のスコアは ARC Prize のサイトで確認してください。
なぜ重要か
ARC-AGI は暗記が効かないように設計されているため、推論モデルやテスト時計算の一般的な参照点になっています。人の学習効率に並ぶことという AGI の定義は、いくつかある見方の 1 つです。高いスコアが示すのはこうしたパズルへの適応力であり、全般的な能力ではないので、ほかのベンチマークと合わせて読んでください。
関連用語
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
- 推論モデル
- 推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。
- Test-time compute(推論時の計算)
- Test-time compute(推論時の計算)とは、モデルが学習中ではなく、リクエストに答える間に使う計算量のことです。モデルに長く考えさせたり、複数の回答を試させたりすると、難しい問題で結果が良くなることがあります。
- リーダーボード(AI)
- AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。