ARC-AGI
ARC-AGI es una serie de benchmarks, iniciada por François Chollet y gestionada por ARC Prize, que evalúa si un sistema de IA puede resolver puzles de razonamiento nuevos que no ha visto antes, midiendo la eficiencia con la que aprende y no lo que sabe.
También llamado: Abstraction and Reasoning Corpus, ARC-AGI-2, ARC-AGI-3, ARC Prize
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
La mayoría de los benchmarks evalúan la habilidad en una tarea. El artículo de Chollet de 2019 On the Measure of Intelligence sostenía que la habilidad por sí sola es una mala medida, porque con datos de entrenamiento ilimitados los desarrolladores pueden comprar habilidad sin una generalización real. Propuso definir la inteligencia como la eficiencia para adquirir habilidades y publicó el Abstraction and Reasoning Corpus (ARC) para medirla.
Cómo está diseñado
Las tareas de ARC solo se apoyan en conocimientos previos básicos: piezas cognitivas que las personas tienen desde el nacimiento o adquieren muy pronto. Evitan el conocimiento cultural o especializado, para que personas e IA puedan compararse de forma justa. ARC Prize dice que el benchmark apunta a la inteligencia fluida, la capacidad de razonar y adaptarse a problemas nuevos, y no a la inteligencia cristalizada que se construye con conocimiento acumulado. Cada tarea es nueva, así que memorizar los datos de entrenamiento no ayuda mucho.
La serie
El conjunto original se llama ahora ARC-AGI-1. Desde entonces, ARC Prize ha publicado ARC-AGI-2 y ARC-AGI-3 y organiza competiciones anuales, cada una con un leaderboard público. Consulta la web de ARC Prize para ver las puntuaciones actuales, ya que cambian con cada versión.
Por qué importa
ARC-AGI está diseñado para resistir la memorización, lo que lo convierte en un punto de referencia habitual para los modelos de razonamiento y el cómputo en tiempo de prueba. Su definición de AGI, igualar la eficiencia de aprendizaje de las personas, es una visión entre varias. Una puntuación alta muestra capacidad de adaptaci ón en estos puzles, no competencia general, así que léela junto a otros benchmarks.
Términos relacionados
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- Modelo de razonamiento
- Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.
- Test-time compute
- El test-time compute (cómputo en tiempo de inferencia) es la cantidad de cálculo que gasta un modelo al responder una petición, y no durante el entrenamiento. Dejar que un modelo piense más tiempo o pruebe varias respuestas puede mejorar los resultados en problemas difíciles.
- Leaderboard (IA)
- Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.