Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

ARC-AGI

ARC-AGI est une série de benchmarks, lancée par François Chollet et gérée par ARC Prize, qui teste si un système d'IA sait résoudre de nouvelles énigmes de raisonnement jamais vues auparavant, en mesurant l'efficacité avec laquelle il apprend plutôt que ce qu'il sait.

Aussi appelé : Abstraction and Reasoning Corpus, ARC-AGI-2, ARC-AGI-3, ARC Prize

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

La plupart des benchmarks testent l'habileté à accomplir une tâche. L'article de Chollet de 2019, On the Measure of Intelligence, soutenait que l'habileté seule est une mauvaise mesure, car des données d'entraînement illimitées permettent aux développeurs d'acheter de l'habileté sans réelle généralisation. Il proposait de définir l'intelligence comme l'efficacité d'acquisition de compétences et a publié l'Abstraction and Reasoning Corpus (ARC) pour la tester.

Comment il est conçu

Les tâches ARC ne reposent que sur des connaissances a priori fondamentales : des briques cognitives que les gens possèdent dès la naissance ou acquièrent très tôt. Elles évitent les connaissances culturelles ou spécialisées, afin de comparer équitablement humains et IA. ARC Prize indique que le benchmark vise l'intelligence fluide, la capacité à raisonner et à s'adapter à des problèmes nouveaux, plutôt que l'intelligence cristallisée, bâtie sur des connaissances accumulées. Chaque tâche est nouvelle, si bien que mémoriser les données d'entraînement n'aide pas beaucoup.

La série

L'ensemble d'origine s'appelle désormais ARC-AGI-1. ARC Prize a depuis publié ARC-AGI-2 et ARC-AGI-3 et organise des compétitions annuelles, chacune avec un classement public. Consultez le site d'ARC Prize pour les scores actuels, car ils changent à chaque version.

Pourquoi c'est important

ARC-AGI est conçu pour résister à la mémorisation, ce qui en fait un point de référence courant pour les modèles de raisonnement et le calcul au moment du test. Sa définition de l'AGI, égaler l'efficacité d'apprentissage des humains, est un point de vue parmi d'autres. Un score élevé montre une capacité d'adaptation sur ces énigmes, pas une compétence générale : lisez-le donc en parallèle d'autres benchmarks.

Termes liés

Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
Modèle de raisonnement
Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.
Test-time compute
Le test-time compute (calcul au moment de l'inférence) est la quantité de calcul qu'un modèle consacre à répondre à une requête, et non à l'entraînement. Laisser un modèle réfléchir plus longtemps ou essayer plusieurs réponses peut améliorer les résultats sur les problèmes difficiles.
Leaderboard (IA)
Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.

Sources