Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Terminal-Bench

Terminal-Bench est un benchmark pour les agents d'IA qui travaillent dans un terminal en ligne de commande ; chaque tâche fournit à l'agent un environnement réel et est notée par des tests qui vérifient si le travail a vraiment été fait.

Aussi appelé : Terminal-Bench 2.0, tbench

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les agents de code travaillent de plus en plus via un shell : installer des paquets, modifier des fichiers, lancer des builds et déboguer. Terminal-Bench mesure cela. Il est mené par une équipe hébergée par Stanford et le Laude Institute, et ses tâches sont tirées de flux de travail réels plutôt que de questions de type casse-tête.

Comment ça marche

Chaque tâche est fournie avec son propre environnement, une solution de référence écrite par un humain et des tests qui vérifient le résultat. L'agent est placé dans l'environnement avec des instructions et doit terminer le travail à l'aide du terminal. Le score est la part des tâches qu'il résout. L'article sur Terminal-Bench 2.0 décrit 89 tâches difficiles et indique que les modèles et agents de pointe obtenaient moins de 65 %. Le projet est depuis passé à des versions plus récentes, avec Terminal-Bench 4.1 sur son site au moment de la rédaction.

Le modèle et le harnais ensemble

Le classement indique à la fois un modèle et un agent pour chaque résultat, car un même modèle peut obtenir des scores différents selon les harnais d'agent. Quand un créateur de modèle cite un chiffre de Terminal-Bench, vérifiez quel harnais et quelle version il a utilisés. Le site marque aussi ses données d'une chaîne canari demandant qu'elles n'apparaissent jamais dans des données d'entraînement, pour limiter la contamination des benchmarks.

En quoi il diffère de SWE-bench

SWE-bench demande à un agent de corriger de vraies issues dans des dépôts open source. Terminal-Bench couvre un éventail plus large de travail en ligne de commande, de la configuration système aux tâches sur les données. Les deux sont utiles pour choisir un agent de code ; aucun ne remplace l'essai de l'agent sur vos propres projets dans un bac à sable sûr.

Termes liés

SWE-bench
SWE-bench est un benchmark de code construit à partir de vraies issues GitHub de projets Python populaires ; un modèle ou un agent doit modifier le dépôt pour que l'issue soit corrigée et que les tests cachés du projet passent.
Agent de code
Un agent de code (coding agent) est un agent IA qui travaille directement sur un logiciel : il lit une base de code, modifie des fichiers, lance des commandes et des tests, et recommence jusqu'à ce qu'un changement fonctionne, au lieu de seulement suggérer du code qu'une personne collera.
Harnais d'agent
Un harnais d'agent (agent harness) est le logiciel qui entoure un modèle et en fait un agent opérationnel : la boucle, les outils, le prompt système, les permissions, la gestion du contexte et les fichiers éventuels qui servent à transmettre l'avancement d'une session à l'autre.
Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
Bac à sable pour agent
Un bac à sable pour agent (agent sandbox) est un environnement isolé, comme un conteneur, une machine virtuelle ou une restriction du système d'exploitation, dans lequel un agent IA exécute du code et des commandes sans pouvoir atteindre les fichiers, réseaux ou données au-delà de limites fixées.

Sources