AIME (benchmark)
L'AIME, ou American Invitational Mathematics Examination, est un concours de mathématiques américain de 15 questions dont les réponses sont des nombres entiers de 0 à 999 ; les laboratoires d'IA utilisent ses anciens sujets, comme AIME 2025, comme benchmark de raisonnement mathématique.
Aussi appelé : AIME 2025, AIME 2024, American Invitational Mathematics Examination
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Le nom a deux sens. D'abord, l'AIME est un vrai examen organisé par la Mathematical Association of America pour les élèves qui obtiennent de bons résultats à l'AMC 10 ou à l'AMC 12. Il comporte 15 questions et trois heures au total pour y répondre, et constitue une étape sur la voie de l'USA Mathematical Olympiad.
L'AIME comme benchmark d'IA
Ensuite, dans les annonces de modèles, « AIME 2025 » désigne le score d'un modèle sur les questions de cette année-là. L'AIME se prête bien aux tests d'IA, car les problèmes exigent plusieurs étapes de raisonnement mais chaque réponse est un seul entier de 0 à 999 : la notation est donc automatique et exacte. Des évaluations comme l'Artificial Analysis Intelligence Index ont utilisé AIME 2025 avec un vérificateur d'égalité mathématique.
Lire les scores
Les résultats à l'AIME sont devenus un moyen courant de mettre en avant les modèles de raisonnement, qui consacrent du calcul au moment du test supplémentaire à travailler un problème avant de répondre. Comme un examen ne compte que 15 questions, un seul problème fait beaucoup varier le score : de petits écarts entre modèles ont donc peu de sens. Les anciens sujets sont publiés en ligne, si bien que les années précédentes ont pu fuiter dans les données d'entraînement, le risque appelé contamination des benchmarks. C'est pourquoi les rapports précisent en général l'année, et l'année la plus récente est la plus fiable.
Limites
L'AIME teste les mathématiques de concours à réponse courte. Il dit peu de chose sur les démonstrations, les mathématiques appliquées dans du code ou la capacité à expliquer clairement une solution. Utilisez-le comme un signal parmi d'autres benchmarks.
Termes liés
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Modèle de raisonnement
- Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.
- Contamination des benchmarks
- Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
- Test-time compute
- Le test-time compute (calcul au moment de l'inférence) est la quantité de calcul qu'un modèle consacre à répondre à une requête, et non à l'entraînement. Laisser un modèle réfléchir plus longtemps ou essayer plusieurs réponses peut améliorer les résultats sur les problèmes difficiles.
- Chain-of-thought
- Le chain-of-thought (CoT, chaîne de pensée) est une méthode de prompting dans laquelle un modèle de langage écrit des étapes de raisonnement intermédiaires avant sa réponse finale, ce qui tend à améliorer les résultats en mathématiques, en logique et sur d'autres problèmes en plusieurs étapes.