Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Étape 11 sur 24

Ingénierie du harness

Construisez les fichiers, les vérifications et les boucles autour d'un agent de code qui rendent son travail fiable. Le même modèle travaille plus ou moins bien selon ce qui l'entoure : le contexte qu'il lit, les vérifications qu'il doit passer et les limites qu'il ne peut pas franchir. La plupart des erreurs qu'un agent répète se corrigent dans le harness, pas dans le prompt.

Par Sheela · Vérifié le 6 nov. 2026 · Notre méthode d’évaluation

Comment choisir

  • Gardez AGENTS.md ou CLAUDE.md court, et faites-le renvoyer à la documentation au lieu de la recopier.
  • Laissez les tests, la vérification des types et les linters juger le travail de l'agent avant qu'un humain le lise.
  • Un seul framework de workflow par projet, proportionné au changement ; isolez l'agent dans un sandbox et bloquez les commandes destructrices.

Ce qu’il faut regarder

Les questions qui départagent les options, par ordre d’importance.

  1. 01

    Un fichier de contexte court qui renvoie ailleurs

    AGENTS.md ou CLAUDE.md est chargé à chaque session : chaque ligne coûte des tokens à chaque tour et dispute à la tâche l'attention du modèle. L'équipe harness d'OpenAI a constaté qu'un seul gros fichier d'instructions devenait obsolète et ne pouvait pas être vérifié automatiquement, et elle est passée à un AGENTS.md d'environ 100 lignes qui sert de table des matières à un dossier docs/ structuré. Commencez par quelques règles que vous savez justifier (le CLAUDE.md de Karpathy en compte quatre), ajoutez une ligne seulement quand l'agent répète une erreur, et mettez le détail dans des fichiers que l'agent ouvre quand il en a besoin.

  2. 02

    Des guides avant que l'agent agisse, des capteurs après

    Le modèle de Birgitta Böckeler sur martinfowler.com divise le harness en guides, qui orientent l'agent avant qu'il travaille (fichiers de contexte, skills, spécifications, serveurs de langage), et en capteurs, qui vérifient le résultat pour que l'agent se corrige lui-même (tests, linters, vérificateurs de types, tests structurels, revue). Il faut les deux : des guides seuls ne savent jamais s'ils ont fonctionné, et des capteurs seuls attrapent chaque fois la même erreur. Préférez les capteurs déterministes, rapides, peu coûteux et reproductibles, à la revue par IA, et rédigez des messages de linter qui disent à l'agent comment corriger le problème.

  3. 03

    Le coût en contexte des skills, plugins et hooks

    Les skills coûtent peu jusqu'à ce qu'elles s'accumulent. La documentation d'Anthropic chiffre le coût au démarrage à environ 100 tokens par skill installée, et jusqu'à 5 000 de plus quand l'une se déclenche ; ECC en installation complète charge assez de règles et de skills pour occuper une large part de la fenêtre de contexte, d'où son profil minimal. Dans Claude Code, claude plugin details indique ce que chaque plugin ajoute à chaque tour. Installez le plus petit ensemble qui couvre votre façon de travailler, et retirez ce que vous n'avez pas utilisé depuis un mois.

  4. 04

    Un processus proportionné au changement

    Les frameworks pilotés par les spécifications et ceux à plusieurs rôles transforment le travail de l'agent en documents que vous pouvez relire, et le font payer. Dans l'essai de Scott Logic, Spec Kit a demandé environ 2 à 3,5 heures de relecture humaine par fonctionnalité ; BMAD produit plusieurs documents de planification par fonctionnalité ; Superpowers est lent et gourmand en tokens sur les petites corrections. Les skills de Matt Pocock sont à l'autre bout : rien ne s'exécute tant que vous ne l'appelez pas. Vérifiez si un outil allège son processus pour une correction d'une ligne (la skill Build de BMAD le fait désormais), et n'installez qu'un framework de workflow par projet, car Superpowers, BMAD, ECC et le pack d'Addy Osmani se recoupent et se concurrencent.

  5. 05

    Un état qui survit à la fin de la session

    Chaque nouvelle session démarre sans souvenir de la précédente. L'article d'Anthropic sur les agents de longue durée décrit une solution à base de simples fichiers : une liste de fonctionnalités en JSON où chaque élément est marqué réussi ou non, un journal de progression, un init.sh qui lance l'application, une fonctionnalité par session et un commit git à la fin de chacune. Les plugins de mémoire automatisent cela, moyennant un coût : claude-mem résume chaque session avec un modèle que vous payez, et son worker local n'authentifie pas les requêtes ; context-mode range la sortie des outils dans un index local et reconstruit l'état de travail après la compaction. Essayez d'abord les simples fichiers.

  6. 06

    Un sandbox et un garde-fou de commandes, pas l'un ou l'autre

    Un agent peut être convaincu d'exécuter n'importe quoi ; les limites doivent donc se trouver dans le système d'exploitation, pas dans le prompt. Sandbox Runtime d'Anthropic, le moteur derrière /sandbox dans Claude Code, limite l'écriture de fichiers et l'accès au réseau à ce que vous autorisez, mais permet par conception l'écriture dans le projet, si bien que git reset --hard et git push --force passent toujours. CC Safety Net lit chaque commande shell avant son exécution et bloque celles-là, mais ne contrôle ni les fichiers ni le réseau. Ensemble, ils comblent leurs lacunes respectives.

  7. 07

    Les économies de tokens annoncées, vérifiées sur votre propre facture

    Plusieurs outils promettent un contexte plus petit et des coûts plus bas. Une sortie d'outil plus courte n'est pas une session moins chère : deux tests indépendants de rtk n'ont trouvé aucune économie dans leurs essais principaux (7,6 % et 5,8 % de plus), en partie parce que son hook ne voit que les appels Bash, et personne n'a publié de test de coût du plugin gratuit de context-mode. Mesurez avant et après avec vos propres journaux d'utilisation (ccusage les lit en local) sur une semaine de travail normal, pas sur une seule tâche de démonstration.

  8. 08

    Qui peut modifier le code qui tourne dans votre agent

    Les plugins et les packs de skills exécutent des hooks et des serveurs MCP avec vos droits. Le marketplace officiel de Claude Code associe chaque entrée à un commit, mais Anthropic précise qu'y figurer n'est pas un audit de sécurité, et les plugins se mettent à jour automatiquement par défaut. Le README d'ECC avertit que des miroirs peuvent contenir des logiciels malveillants, et l'installation par défaut de CC Safety Net récupère @latest. Installez depuis le dépôt d'origine, figez les versions pour une équipe et lisez les scripts des hooks avant de les activer.

Ce qui distingue les options

L'ingénierie du harness est le travail autour d'un agent de code plutôt qu'en lui : les fichiers qu'il lit, les vérifications qui jugent ce qu'il produit et les boucles qui font passer le travail d'une session à l'autre. Les outils présentés ici se rangent en quelques groupes. Les fichiers de contexte et les packs de skills (le CLAUDE.md de Karpathy, Anthropic Skills, les skills d'Addy Osmani et de Matt Pocock) donnent à l'agent des règles et des procédures. Les frameworks de workflow (Superpowers, Spec Kit, BMAD, ECC) imposent toute une séquence de spécification, plan, tests et revue, et se distinguent surtout par la quantité de documents qu'ils demandent à un humain de lire. Les outils de contexte et de mémoire (context-mode, rtk, claude-mem) cherchent à garder la fenêtre de contexte réduite ou à conserver l'état entre les sessions. Les couches de sécurité (Sandbox Runtime, CC Safety Net) limitent ce que l'agent peut faire, quoi qu'on lui ait dit. Le marketplace officiel de Claude Code est la voie d'installation de la plupart d'entre eux, et Learn Harness Engineering est un cours qui enseigne toute la discipline.

L'agent lui-même (Claude Code, Codex, OpenCode) constitue le harness interne et relève de nos tests d'agents de code. Les capteurs les plus importants d'un harness externe sont en général ceux que vous possédez déjà : votre suite de tests, votre vérificateur de types, votre linter et votre CI. Aucun des outils ci-dessous ne les remplace, et plusieurs ne fonctionnent bien que s'ils existent.

14 outils comparés

Classés selon notre note. Ouvrez un avis pour voir les sources, les prix et le verdict complet.

Outils comparés : Ingénierie du harness
OutilNoteNotre verdictIdéal pourPrix
Superpowersdépôt4.7/5Une couche de discipline qui fait se comporter un agent de code comme un ingénieur junior soigneux, et qui vaut ses tokens supplémentaires sur tout ce qui est plus grand qu'un correctif d'une ligne.Les développeurs qui veulent qu'un agent exécute des fonctionnalités de plusieurs heures avec un plan, des tests et une revue intégrés.Gratuit et open source (MIT). Vous payez l'usage de modèle de l'agent dans lequel vous le faites tourner.
Matt Pocock's Skillsdépôt4.5/5Les skills de Matt Pocock font que l'agent discute le plan avec vous avant d'écrire du code, et /grill-me à lui seul justifie l'installation.Les ingénieurs qui veulent des habitudes légères de planification et de TDD sans confier le processus à un framework.Gratuit et open source (MIT). Vous payez l'usage de modèle de votre agent.
Anthropic Skillsdépôt4.4/5Lisez-le avant d'écrire un skill à vous, et installez-le si Claude Code doit gérer des fichiers Office et des PDF ; mais ne prenez pas les skills de documents pour quelque chose que vous pouvez forker.Quiconque écrit des skills, et les utilisateurs de Claude Code qui ont besoin de gérer des fichiers Office et PDF.Gratuit. Les skills d'exemple sont sous Apache 2.0 ; les skills de documents sont à source disponible, pas open source.
Anthropic Sandbox Runtime (srt)dépôt4.4/5Votre agent de code peut être persuadé de n'importe quoi ; le système d'exploitation ne le peut pas, et srt met le système d'exploitation aux commandes.Tout développeur qui fait tourner un agent de code sur sa propre machine, comme première couche de protection.Gratuit et open source sous Apache 2.0.
Spec Kitdépôt4.3/5Spec Kit transforme le travail d'agent en documents relisibles dans git, et le facture en heures de lecture humaine par fonctionnalité.Les équipes qui veulent des specs écrites et relisibles avant qu'un agent n'écrive du code.Gratuit et open source (MIT).
Agent Skills (Addy Osmani)dépôt4.3/5Le pack d'Addy Osmani transforme les habitudes d'un ingénieur senior en portes qu'un agent ne peut pas contourner par la parole, et c'est le rare ensemble de skills qui prend le navigateur au sérieux.Les développeurs web qui veulent un pack de skills structuré du spec au lancement.Gratuit et open source (MIT). Vous payez l'usage du modèle de votre agent.
Claude Code official plugin marketplacedépôt4.3/5Commencez ici avant d'ajouter un quelconque marketplace tiers : les entrées épinglées à un commit et le coût en contexte visible en font le défaut le plus sûr, même si un référencement n'est pas un audit de sécurité.Tout utilisateur de Claude Code, comme premier endroit où chercher des plugins.Gratuit. Le dépôt du catalogue est Apache-2.0 ; chaque plugin a sa propre licence, et beaucoup de plugins de fournisseurs ont besoin d'un compte payant chez ce fournisseur.
Learn Harness Engineeringdépôt4.1/5Un vrai programme pour la partie ingrate du code avec agents, l'échafaudage autour du modèle, plus solide sur la structure que sur l'originalité.Les ingénieurs qui utilisent déjà Claude Code ou Codex et veulent une méthode structurée pour fiabiliser les sessions d'agents sans surveillance.Gratuit (MIT) ; il vous faut votre propre agent de code, comme Claude Code ou Codex, pour faire les projets.
CC Safety Netdépôt4.0/5La ceinture de sécurité pour les dégâts qu'un bac à sable autorise exprès : les force-push, les hard reset et rm -rf à l'intérieur de votre propre projet.Quiconque laisse un agent de code lancer des commandes shell sans en approuver chacune.Gratuit et open source sous MIT.
BMAD Methoddépôt3.8/5BMAD gagne sa paperasse sur les projets avec des parties prenantes qui valident des choses, et la facture en heures sur tout ce qui est plus petit.Les équipes sur de plus grands projets qui veulent des PRD, de l'architecture et des stories générés et relus.Gratuit et open source (MIT). « BMad » et « BMAD-METHOD » sont des marques de BMad Code, LLC.
Everything Claude Code (ECC)dépôt3.8/5ECC est un bac à pièces plutôt qu'un workflow : utile dans un profil minimal, une taxe permanente sur le contexte en taille complète.Les utilisateurs avancés de Claude Code qui veulent une grande boîte à outils et la réduiront à un profil minimal.Gratuit et open source (MIT). La GitHub App ECC Pro pour dépôts privés est à 19 $ par siège par mois ; l'Enterprise est sur devis. Vous payez l'usage de modèle de votre agent.
claude-memdépôt3.7/5Une vraie mémoire entre sessions pour Claude Code, enveloppée dans un installeur qui vous oriente vers un abonnement hébergé et une facture de compression à surveiller.Les développeurs sur des projets de longue haleine qui veulent que l'agent se souvienne des sessions passées.Open source (Apache-2.0). La compression tourne sur votre offre Anthropic ou votre propre clé. Plans CMEM hébergés : Pro 30 $/mois, Heavy 70 $/mois, Max 100 $/mois avec dépassements ; la tarification TeamBrain n'est pas annoncée.
context-modedépôt3.6/5Vaut la peine d'être essayé pour les longues sessions qui perdent le fil après la compaction ; personne n'a encore montré que le plugin gratuit réduit votre facture.Les utilisateurs de Claude Code dont les longues sessions perdent la trace de leur travail après la compaction.Plugin gratuit (Elastic License 2.0). Passerelle hébergée : 1 000 requêtes gratuites une fois ; Starter 20 $/mois (10 000 requêtes) ; Pro 49 $/mois (50 000 requêtes) ; vous payez votre fournisseur de modèle directement.
rtk (Rust Token Killer)dépôt3.4/5Il rend la sortie shell plus courte, ce qui n'est pas la même chose que rendre Claude Code moins cher, et les deux tests de coût indépendants ont trouvé que ce n'était pas le cas.Les développeurs avec une sortie shell très bruyante qui mesureront l'effet eux-mêmes.Gratuit (CLI Apache-2.0 plus moteur BUSL-1.1 ; rtk-oss Apache uniquement disponible). La revente commerciale a besoin d'une licence. L'édition d'équipe RTK Pro est payante, avec un essai de 7 jours.

Côte à côte

Les caractéristiques qui comptent pour cette étape. Vérifiées le 6 nov. 2026 ; confirmez-les sur le site du fournisseur avant de vous engager.

Ingénierie du harness : caractéristiques côte à côte
OutilTypeCe qu'il apporteAgentsCoût en contexte ou en tokensLicence
SuperpowersPlugin de skills de workflowBrainstorming, plan, TDD, revue par sous-agents16 harnessesÉlevé ; augmente avec les tâches du planMIT
Matt Pocock's SkillsSkills combinables/grill-me, /tdd, /code-reviewClaude Code, Codex, Copilot ; autres via npxSeulement à l'appel ; les revues par sous-agents s'additionnentMIT
Anthropic SkillsSkills de référence et spécification19 skills, dont docx, pdf, skill-creatorClaude Code, claude.ai, API ClaudeEnviron 100 tokens par skill ; jusqu'à 5 000 à l'usageApache 2.0 ; skills de documents en source disponible
Anthropic Sandbox Runtime (srt)Sandbox au niveau du systèmeListes autorisées pour l'écriture de fichiers et le réseauTout processus ; /sandbox de Claude CodeAucunApache 2.0
Spec KitCLI et commandes pilotées par les spécificationsConstitution, spécification, plan, tâches, convergence41 agentsUsage de l'agent plus 2 à 3,5 h de relecture par fonctionnalitéMIT
Agent Skills (Addy Osmani)Skills de workflow d'ingénierie25 skills, 9 commandes, contrôles de preuvesClaude Code, Codex, plus de 70 via la CLI skillsSessions plus longues ; aucun chiffre publiéMIT
Claude Code official plugin marketplaceMarketplace de plugins315 plugins, figés sur des commitsClaude CodePar plugin ; affiché par claude plugin detailsApache 2.0
Learn Harness EngineeringCours : 14 leçons, 8 projetsModèles, skill harness-creator, script d'auditIndépendant de l'agentGratuit ; l'usage de votre agentMIT
CC Safety NetGarde-fou de commandes (hook)Bloque le git destructif, rm -rf, la lecture de secretsClaude Code, Codex, Cursor et d'autresAucunMIT
BMAD MethodFramework agile par rôlesBriefs, PRD, architecture, storiesClaude Code, Codex et d'autresÉlevé ; plusieurs documents par fonctionnalitéMIT (noms déposés)
Everything Claude Code (ECC)Kit de harness71 agents, 311 skills, hooks, AgentShieldClaude Code stable ; autres en bêtaLourd en installation complète ; profil minimalMIT
claude-memPlugin de mémoire entre sessionsDes hooks enregistrent les sessions ; rappel via MCPClaude Code, Codex, OpenCode et d'autresTokens de compression à chaque sessionApache 2.0
context-modePlugin de contexte et serveur MCPSortie des outils indexée ; état reconstruit après compaction17 plateformesVise à réduire ; plugin gratuit non testéElastic 2.0
rtk (Rust Token Killer)Proxy de sortie shell (hook)Sortie compressée pour plus de 100 commandes18 agentsDeux tests indépendants n'ont trouvé aucune économieApache 2.0 / BUSL-1.1

Sources de ce guide