Qu’est-ce que SkillEvaluator ?
SkillEvaluator est le framework open source de NVIDIA pour tester les skills d'agents, ces dossiers d'instructions et de scripts définis par la spécification Agent Skills. C'est l'outil derrière le pipeline NVIDIA Verified Skills et l'implémentation de référence d'un article arXiv d'août 2026 consacré à l'évaluation des skills plutôt que des agents.
Il fonctionne en trois niveaux indépendants. Tier 1 valide la structure et le frontmatter, note la qualité et lance des analyses de sécurité avec SkillSpector de NVIDIA, Gitleaks et, en option, Semgrep. Tier 2 utilise des embeddings pour signaler les consignes répétées dans une skill ou qui recoupent d'autres skills d'un catalogue. Tier 3 fait tourner un vrai agent (Codex, Claude Code ou OpenCode, Hermes étant expérimental) dans un sandbox sur le framework Harbor, deux fois par tâche, une fois avec la skill installée et une fois sans, et présente l'écart sous le nom de Skill Lift.
Il s'installe depuis PyPI sous le nom skillevaluator sur Python 3.12 à 3.14, et skillevaluator ci init écrit des workflows GitHub ou GitLab qui vérifient les skills modifiées à chaque pull request. La version 0.9.0 est sortie le 13 novembre 2026 sous Apache 2.0, avec un support déclaré expérimental : communautaire, au mieux, sans SLA.
SkillEvaluator vaut-il le coup ?
La plupart des outils pour skills vérifient ce qu'une skill dit. SkillEvaluator mesure ce qu'elle fait : même tâche, même modèle, mêmes entrées et même évaluateur, avec et sans la skill, l'écart étant présenté comme Skill Lift. L'instantané de NVIDIA du 12 août 2026, portant sur plus de 300 skills vérifiées pour plus de 30 produits sur Claude Code et Codex, plaçait l'exactitude à 46 sans skill et 87 avec, et le gain moyen à 31 points sur l'ensemble des dimensions, ou 39 hors sécurité. L'article qui l'accompagne est plus mesuré : sur 947 cas appariés notés couvrant 58 des 64 skills de production sur quatre harnesses d'agents, le gain composite moyen était de 0,2134 et positif dans 72,8 % des cas.
Ces chiffres s'accompagnent de réserves que les auteurs formulent eux-mêmes. Dans l'instantané du blog, 85 % des skills n'ont eu qu'une tentative par tâche et aucun intervalle de confiance n'est publié ; une skill chargée hors de propos peut dégrader l'agent ; et l'effet sur l'efficacité joue dans les deux sens, une skill Jetson ayant réduit les tokens de 76,9 % quand une skill d'installation de cuOpt les a augmentés de 120,3 %. L'article a aussi trouvé une faible corrélation entre les notes statiques et celles du juge LLM (Spearman 0,14), le meilleur argument pour lancer les niveaux en conditions réelles plutôt que de se fier à une note de qualité.
La voie économique l'est vraiment. Tier 1 tourne sans clé d'API, GPU ni Docker ; la skill d'exemple fournie obtient 84,5 sur 100 face à un seuil de réussite par défaut de 70, et le workflow de CI généré épingle une image Docker vérifiée. Tier 3 est l'endroit où arrivent le coût et la configuration : Docker ou un sandbox géré (Daytona, E2B, Modal ou Runloop), des clés de fournisseur pour l'agent et pour le juge, et un nombre d'essais égal aux cas multipliés par les agents, les tentatives et les bras. La documentation refuse d'avancer un montant en dollars, mais la 0.9.0 a ajouté des budgets de tokens, d'appels au juge et de coût qui arrêtent une exécution en gardant les résultats partiels.
Il est jeune. La première version, la 0.1.0, date du 5 août 2026 et la 0.9.0 est la onzième, avec des changements de notation en 0.9.0 qui, selon les notes de version, rendent les scores incomparables avec ceux des versions antérieures. Les versions des agents sont épinglées (Codex 0.161.0, Claude Code 2.1.292, OpenCode 1.19.5) pour que les résultats restent reproductibles, ce qui signifie aussi que vous ne testez pas la CLI qu'utilise votre équipe aujourd'hui. Pour les équipes qui publient des skills pour d'autres, ces remous valent la peine ; pour une poignée de skills personnelles, Tier 1 seul ou SkillSpector couvrent l'essentiel.
Là où il fait la différence
Une équipe relations développeurs d'un éditeur de bases de données qui maintient 25 skills publiques pour Claude Code et Codex
Bloquer avant fusion les modifications de skills qui cassent la structure ou divulguent des secrets
Lancez skillevaluator ci init, acceptez les contrôles de Tier 1 et choisissez le dossier des skills ; chaque pull request reçoit alors des analyses SkillSpector et Gitleaks et une note de qualité avec un seuil de réussite par défaut de 70. Ce niveau ne demande pas de clé de modèle, le coût de CI se limite donc aux minutes de runner.
Un ingénieur plateforme dont le catalogue interne de skills dépasse désormais 100 entrées
Repérer les skills qui se répètent et brouillent le choix de l'agent
Lancez Tier 2 avec --catalog pointant vers un JSON de catalogue pour que les embeddings comparent les consignes entre skills, puis fusionnez ou retirez celles qui se recoupent. Il faut un fournisseur d'embeddings et de chat ; NVIDIA Build offre un prototypage gratuit aux membres éligibles.
Un responsable IA qui doit décider si la skill d'un fournisseur mérite d'être ajoutée aux agents de 200 développeurs
Prouver que la skill améliore les résultats sur les tâches de l'équipe avant de la déployer
Rédigez un petit jeu d'évaluation à partir de demandes réelles, lancez Tier 3 avec --n-attempts 1 et un budget de coût sur un seul agent, puis comparez le Skill Lift à la référence sans skill. Chaque cas tourne deux fois, la dépense en modèles double donc à peu près par rapport à une exécution unique de l'agent.
Avant de vous engager
- Mise en route
- pip install --upgrade skillevaluator, ou clonez le dépôt et utilisez uv run --python 3.13. skillevaluator quality-check sur un dossier de skill donne une note déterministe sans clé. Tier 3 ajoute l'extra tier3, des clés de fournisseur et Docker ; skillevaluator doctor vérifie la disponibilité, pas l'inférence.
- Intégrations
- Agents : Codex, Claude Code et OpenCode, Hermes expérimental. Fournisseurs : NVIDIA Build, OpenAI, Anthropic et Amazon Bedrock via LiteLLM. Sandboxes : Docker, Kata, Daytona, E2B, Modal, Runloop et EC2 via Harbor 0.25.0. Scanners : SkillSpector, Gitleaks, Semgrep. Rapports en terminal, HTML, JSON, Markdown et SARIF ; CI GitHub et GitLab.
- Données et confidentialité
- S'exécute en local ou dans votre CI. Les niveaux avec LLM envoient la documentation de la skill et les traces des tâches au fournisseur de modèles que vous configurez ; la télémétrie de Harbor et le chargement de .env sont désactivés dans ses processus enfants. Les traces de production importées sont expurgées et doivent être relues par un humain avant usage. Apache 2.0.
- Coût à grande échelle
- L'outil est gratuit ; le coût de Tier 3 correspond aux cas d'évaluation multipliés par les agents, les tentatives et deux bras, chaque essai faisant plusieurs appels à l'agent et au juge, plus les frais de sandbox sur les backends gérés. Aucune estimation en dollars n'est publiée ; --skip-baseline divise à peu près par deux les essais pendant le travail sur le jeu de données, mais ne peut pas produire de Skill Lift.
- Limites
- Support expérimental ; la notation a changé en 0.9.0, les anciens scores ne sont donc pas comparables ; versions des CLI d'agents épinglées ; les résultats varient d'une exécution à l'autre et dépendent de la qualité du jeu de données ; Claude Code avec les modèles NVIDIA Build passe par une passerelle de compatibilité déclarée expérimentale.
Les points forts
- Mesure l'effet d'une skill par des essais appariés avec et sans
- Les contrôles de qualité ne demandent ni clé d'API, ni GPU, ni Docker
- Workflows de CI prêts pour GitHub et GitLab
- Méthodologie et réserves sur les benchmarks publiées
Les points faibles
- Les scores ont changé de sens d'une version à l'autre
- Les essais réels demandent Docker, des clés et un budget à fixer soi-même
- Les versions épinglées des agents sont en retard sur les CLI actuelles
- Support expérimental sans SLA
Idéal pour
Les équipes qui publient des skills d'agents pour d'autres et doivent prouver, en CI, que chaque skill est sûre, distincte et améliore réellement les résultats de l'agent.
Alternatives à SkillEvaluator
SkillEvaluator : questions fréquentes
- SkillEvaluator vaut-il le coup ?
- SkillEvaluator pose la question que la plupart des scanners de skills éludent, à savoir si une skill aide vraiment l'agent, et y répond par des essais réels appariés, au prix d'un outil jeune qui évolue vite et d'une facture de modèles que vous dimensionnez vous-même. Nous lui donnons 4.0 sur 5.
- Combien coûte SkillEvaluator ?
- Gratuit et open source sous Apache 2.0. Tier 1 ne demande aucun modèle ; les contrôles par LLM et les essais réels sont facturés aux tarifs de votre fournisseur de modèles, avec un prototypage gratuit sur NVIDIA Build pour les membres éligibles du Developer Program, plus les frais d'un sandbox géré si vous en utilisez un.
- Quels sont les inconvénients de SkillEvaluator ?
- Les scores ont changé de sens d'une version à l'autre; les essais réels demandent Docker, des clés et un budget à fixer soi-même; les versions épinglées des agents sont en retard sur les CLI actuelles; support expérimental sans SLA.
- À qui s’adresse SkillEvaluator ?
- Les équipes qui publient des skills d'agents pour d'autres et doivent prouver, en CI, que chaque skill est sûre, distincte et améliore réellement les résultats de l'agent.
- Combien coûte SkillEvaluator pour une équipe ou en production ?
- L'outil est gratuit ; le coût de Tier 3 correspond aux cas d'évaluation multipliés par les agents, les tentatives et deux bras, chaque essai faisant plusieurs appels à l'agent et au juge, plus les frais de sandbox sur les backends gérés. Aucune estimation en dollars n'est publiée ; --skip-baseline divise à peu près par deux les essais pendant le travail sur le jeu de données, mais ne peut pas produire de Skill Lift.
- SkillEvaluator est-il sûr pour les données de l’entreprise ?
- S'exécute en local ou dans votre CI. Les niveaux avec LLM envoient la documentation de la skill et les traces des tâches au fournisseur de modèles que vous configurez ; la télémétrie de Harbor et le chargement de .env sont désactivés dans ses processus enfants. Les traces de production importées sont expurgées et doivent être relues par un humain avant usage. Apache 2.0.
- Quelles sont les meilleures alternatives à SkillEvaluator ?
- Les alternatives les plus proches que nous avons testées sont SkillSpector, Cisco Skill Scanner, promptfoo et Inspect.
Réponses vérifiées le 13 nov. 2026.
Vous éditez SkillEvaluator ? Affichez cette note sur votre site
