Qu’est-ce que Dokimi ?
Dokimi (du grec pour "test" ou "épreuve") vérifie si ce que vous ajoutez au contexte d'un agent de code aide vraiment. Il exécute deux fois les mêmes questions ou tâches de code, une fois sans le changement et une fois avec, note les deux de la même façon et indique l'écart avec une p-valeur, par modèle. Le changement peut être une skill, un catalogue entier de skills, une documentation produit, un serveur MCP de documentation, une persona d'agent ou le AGENTS.md ou CLAUDE.md d'un dépôt.
Il a trois modes. Les comparaisons de bras répondent à "est-ce que ça aide ?" avec un juge LLM pour les questions, ou avec de vraies tâches de code dans Docker exécutées via les harnais Claude Code, Codex, Harbor ou BenchFlow et notées par des tests. L'analyse de nouveauté découpe une skill en affirmations, interroge le modèle sur chacune avec et sans la skill, les classe en ajoutées, redondantes, dégradées ou toujours manquantes, et propose une version plus courte. Le mode dépôt vérifie que les chemins et commandes cités par vos consignes existent, mesure la quantité de consignes payée à chaque appel de modèle et fait travailler des agents sur les tâches du dépôt avec les consignes retirées ou conservées.
C'est un outil Python en ligne de commande d'Intel, sous Apache-2.0, publié sur PyPI en version 0.1.0 le 19 octobre 2026.
Dokimi vaut-il le coup ?
Dokimi est l'outil ouvert le plus rigoureux que nous ayons trouvé pour vérifier si une skill, un serveur MCP ou un AGENTS.md rend un agent de code meilleur, et il est trop récent pour qu'on s'y fie. Le dépôt a été créé le 8 octobre 2026, compte 11 étoiles et 9 forks sur GitHub, et environ 390 de ses 563 commits viennent d'un seul ingénieur d'Intel. L'activité est forte (85 issues et pull requests ouvertes, un commit le jour de notre vérification), mais aucune adoption extérieure n'est encore visible.
L'idée est la bonne. La plupart des conseils sur les harnais sont écrits et partagés sans que personne ne les mesure, et le coût en contexte est réel : chaque ligne d'une skill ou d'un fichier de contexte est payée à chaque tour. Dokimi exécute des bras appariés avec et sans le changement sur les mêmes tâches et le même modèle et donne l'écart avec des statistiques, si bien qu'une skill qui aide un petit modèle mais n'apporte rien à un modèle de pointe apparaît exactement ainsi. Sa propre étude de 33 skills d'Intel a montré qu'avec une notation indulgente, 70 % de ce que dit une skill, un modèle de pointe le produit déjà sans qu'on le lui demande, et qu'une valeur fausse mais plausible glissée dans une skill était reprise dans 85 à 94 % des cas. Ce sont les chiffres du projet, obtenus avec un prototype exécuté hors du dépôt, et sa documentation demande de les lire comme une preuve de la démarche, pas comme une référence.
Le hic : c'est un instrument de recherche, pas un tableau de bord. La documentation est longue et précise et suppose que vous savez ce que sont un modèle juge, un test apparié et une tâche Harbor. Les modèles par défaut sont openai/gpt-6.1-sol pour les réponses et anthropic/claude-sonnet-5-5 comme juge, donc on commence en général avec deux clés d'API. Les exécutions de tâches demandent Docker et vos propres tâches notées ; les images SWE-bench pèsent environ 4 Go chacune. Les coûts sont visibles mais s'additionnent : le tri d'une skill de 19k tokens a représenté 103 appels et environ $1.80, le niveau d'étude complet sur la même skill 1 900 appels et environ $14.50, et les exécutions d'agents dans un dépôt ont par défaut un budget de $2.00 chacune, sans plafond par lot si vous n'en fixez pas.
Notre avis : Dokimi est la paillasse de laboratoire, pas la chaîne de production. Les vérifications gratuites (dokimi repo scan, catalog check et --estimate-only) valent un après-midi pour qui maintient un pack de skills ou un long AGENTS.md ; les expériences payantes auront du sens quand le projet aura quelques mois et quelques utilisateurs de plus.
Là où il fait la différence
Un ingénieur relations développeurs qui maintient 30 skills d'agent pour un SDK
Savoir quelles skills, et quelles parties, un modèle de pointe utilise vraiment
Lancez dokimi skill novelty analyze au niveau de tri d'abord avec --estimate-only, puis pour de vrai avec --max-usd ; l'exemple de la documentation a coûté environ $1.80 par skill de 19k tokens et indique quelles affirmations sont redondantes ou nuisibles.
Une tech lead dont le monorepo a un AGENTS.md de 400 lignes
Vérifier que les consignes sont justes et voir ce qu'elles coûtent à chaque appel de modèle
dokimi repo scan signale les chemins, liens et commandes qui n'existent plus, et dokimi repo budget compte les caractères payés par chaque appel au démarrage. Les deux tournent sans modèle et ne coûtent rien.
Une équipe plateforme qui hésite entre deux serveurs MCP de documentation
Mesurer si l'un d'eux améliore les réponses d'un agent à ses propres questions produit
Rédigez un jeu de questions de référence, lancez arms run avec baseline et un bras mcp: par serveur sur le même modèle, puis comparez les notes du juge et les p-valeurs. arms run n'a pas de plafond de dépense, calculez donc questions fois bras avant de commencer.
Avant de vous engager
- Mise en route
- pip install dokimi (Python 3.11 à 3.14), définissez OPENAI_API_KEY et ANTHROPIC_API_KEY pour les modèles par défaut, ou connectez-vous à Claude Code et utilisez le backend claude-cli pour les exécutions de questions-réponses. Les exécutions de tâches de code demandent aussi Docker.
- Intégrations
- Harnais Claude Code, Codex, Harbor (Terminal-Bench) et BenchFlow pour les tâches exécutables ; lignes SWE-bench ; Context7 et serveurs MCP comme sources de documentation ; les appels de modèle passent par la grille de prix de LiteLLM, avec des routes vers OpenAI, Anthropic, Google, Vertex, OpenRouter et Bedrock.
- Données et confidentialité
- Tourne en local et n'envoie prompts, texte des skills et documentation qu'aux fournisseurs de modèles que vous configurez. Les artefacts de bras conservent le texte exact de la skill ou de la documentation lu par le juge ; partager un fichier de résultats revient donc à partager ce contenu.
- Coût à grande échelle
- Les vérifications statiques sont gratuites. Dans l'exemple de la documentation, le tri d'une skill de 19k tokens a coûté environ $1.80 et le niveau d'étude environ $14.50 ; les exécutions d'agents dans un dépôt sont à $2.00 chacune par défaut, donc une matrice de tâches, bras, modèles et répétitions exige un plafond par lot.
- Limites
- Version 0.1.0 aux valeurs par défaut changeantes (les notes de version précisent que les scores diffèrent des anciens réglages) ; le backend claude-cli refuse les bras avec outils et les réglages d'échantillonnage ; les scores issus de transports différents ne peuvent pas être agrégés.
Les points forts
- Exécutions appariées avec et sans changement, par modèle, avec p-valeurs
- Découpe une skill en affirmations que le modèle connaissait déjà ou dont il avait besoin
- Vérifications statiques gratuites des consignes du dépôt
- Plafonds de dépense et estimations de coût avant les exécutions payantes
Les points faibles
- Créé en octobre 2026 ; 11 étoiles
- Essentiellement un seul mainteneur
- Courbe d'apprentissage raide et longue documentation
- Les résultats phares viennent de l'étude du projet lui-même
Idéal pour
Les ingénieurs qui maintiennent un pack de skills, un serveur MCP de documentation ou un gros AGENTS.md et veulent la preuve qu'il change ce que fait un agent.
Alternatives à Dokimi
Dokimi : questions fréquentes
- Dokimi vaut-il le coup ?
- Dokimi pose la question à laquelle chaque pack de skills et chaque AGENTS.md devraient répondre, et la pose avec soin, mais il a un mois, 11 étoiles et demande un ingénieur patient. Nous lui donnons 3.4 sur 5.
- Combien coûte Dokimi ?
- Gratuit et open source sous Apache-2.0. Vous payez les appels de modèle : une analyse de tri d'une skill de 19k tokens a coûté environ $1.80 dans l'exemple de la documentation, et plusieurs vérifications n'utilisent aucun modèle.
- Quels sont les inconvénients de Dokimi ?
- Créé en octobre 2026 ; 11 étoiles; essentiellement un seul mainteneur; courbe d'apprentissage raide et longue documentation; les résultats phares viennent de l'étude du projet lui-même.
- À qui s’adresse Dokimi ?
- Les ingénieurs qui maintiennent un pack de skills, un serveur MCP de documentation ou un gros AGENTS.md et veulent la preuve qu'il change ce que fait un agent.
- Combien coûte Dokimi pour une équipe ou en production ?
- Les vérifications statiques sont gratuites. Dans l'exemple de la documentation, le tri d'une skill de 19k tokens a coûté environ $1.80 et le niveau d'étude environ $14.50 ; les exécutions d'agents dans un dépôt sont à $2.00 chacune par défaut, donc une matrice de tâches, bras, modèles et répétitions exige un plafond par lot.
- Dokimi est-il sûr pour les données de l’entreprise ?
- Tourne en local et n'envoie prompts, texte des skills et documentation qu'aux fournisseurs de modèles que vous configurez. Les artefacts de bras conservent le texte exact de la skill ou de la documentation lu par le juge ; partager un fichier de résultats revient donc à partager ce contenu.
- Quelles sont les meilleures alternatives à Dokimi ?
- Les alternatives les plus proches que nous avons testées sont promptfoo, Inspect et SkillSpector.
Réponses vérifiées le 7 nov. 2026.