¿Qué es SkillEvaluator?
SkillEvaluator es el framework de código abierto de NVIDIA para probar skills de agentes, las carpetas de instrucciones y scripts que define la especificación Agent Skills. Es la herramienta que hay detrás del pipeline NVIDIA Verified Skills y la implementación de referencia de un artículo de arXiv de agosto de 2026 sobre evaluar skills en lugar de agentes.
Funciona en tres niveles independientes. Tier 1 valida la estructura y el frontmatter, puntúa la calidad y lanza análisis de seguridad con SkillSpector de NVIDIA, Gitleaks y, de forma opcional, Semgrep. Tier 2 usa embeddings para señalar indicaciones repetidas dentro de una skill o que se solapan con otras de un catálogo. Tier 3 ejecuta un agente real (Codex, Claude Code u OpenCode, con Hermes en fase experimental) en un sandbox sobre el framework Harbor, dos veces por tarea, una con la skill instalada y otra sin ella, y presenta la diferencia como Skill Lift.
Se instala desde PyPI como skillevaluator en Python 3.12 a 3.14, y skillevaluator ci init escribe flujos de GitHub o GitLab que comprueban las skills modificadas en cada pull request. La versión 0.9.0 salió el 13 de noviembre de 2026 con licencia Apache 2.0 y un soporte marcado como experimental: comunitario, sin garantías y sin SLA.
¿Merece la pena SkillEvaluator?
La mayoría de las herramientas para skills comprueban lo que dice una skill. SkillEvaluator mide lo que hace: la misma tarea, el mismo modelo, las mismas entradas y el mismo evaluador, con y sin la skill, y la diferencia se presenta como Skill Lift. La propia instantánea de NVIDIA del 12 de agosto de 2026, sobre más de 300 skills verificadas para más de 30 productos en Claude Code y Codex, situó la corrección en 46 sin skill y 87 con ella, y la mejora media en 31 puntos en todas las dimensiones, o 39 dejando fuera la seguridad. El artículo que la acompaña es más prudente: en 947 casos emparejados puntuados que cubren 58 de 64 skills de producción en cuatro harnesses de agentes, la mejora compuesta media fue de 0,2134 y positiva en el 72,8% de los casos.
Esas cifras llegan con advertencias que los propios autores reconocen. En la instantánea del blog, el 85% de las skills tuvo un único intento por tarea y no se publican intervalos de confianza; una skill que se carga cuando no viene al caso puede empeorar al agente; y el efecto sobre la eficiencia va en ambos sentidos, con una skill de Jetson que redujo los tokens un 76,9% y una skill de instalación de cuOpt que los aumentó un 120,3%. El artículo también encontró una correlación débil entre las puntuaciones estáticas y las del juez LLM (Spearman 0,14), el argumento más sólido para ejecutar los niveles en vivo en lugar de fiarse de una nota de calidad.
El camino barato es barato de verdad. Tier 1 funciona sin clave de API, GPU ni Docker; la skill de ejemplo incluida saca 84,5 sobre 100 frente a un aprobado por defecto de 70, y el flujo de CI generado fija una imagen de Docker verificada. En Tier 3 llegan el coste y la configuración: Docker o un sandbox gestionado (Daytona, E2B, Modal o Runloop), claves de proveedor para el agente y para el juez, y un número de ensayos igual a casos por agentes por intentos por brazos. La documentación se niega a estimar una cifra en dólares, aunque la 0.9.0 añadió presupuestos de tokens, de llamadas al juez y de coste que detienen una ejecución y conservan los resultados parciales.
Es joven. La primera versión fue la 0.1.0 del 5 de agosto de 2026 y la 0.9.0 es la undécima, con cambios de evaluación en la 0.9.0 que, según las notas, hacen que las puntuaciones no sean comparables con versiones anteriores. Las versiones de los agentes están fijadas (Codex 0.161.0, Claude Code 2.1.292, OpenCode 1.19.5) para que los resultados sean reproducibles, lo que también significa que no pruebas la CLI que usa hoy tu equipo. Para equipos que publican skills para otros, ese vaivén compensa; para un puñado de skills personales, Tier 1 por sí solo o SkillSpector cubren casi todo el valor.
Dónde se gana su sitio
Un equipo de relaciones con desarrolladores de una empresa de bases de datos que mantiene 25 skills públicas para Claude Code y Codex
Bloquear cambios en las skills que rompan la estructura o filtren secretos antes de fusionarlos
Ejecuta skillevaluator ci init, acepta los controles de Tier 1 y elige la carpeta de skills; cada pull request recibe entonces análisis de SkillSpector y Gitleaks y una nota de calidad con un aprobado por defecto de 70. Este nivel no necesita clave de modelo, así que el coste de CI son los minutos del runner.
Un ingeniero de plataforma cuyo catálogo interno de skills ya supera las 100 entradas
Encontrar skills que se repiten entre sí y confunden la elección del agente
Ejecuta Tier 2 con --catalog apuntando a un JSON de catálogo para que los embeddings comparen las indicaciones entre skills, y luego fusiona o retira las que se solapan. Necesita un proveedor de embeddings y de chat; NVIDIA Build ofrece prototipado gratuito a los miembros elegibles.
Un responsable de IA que decide si la skill de un proveedor merece añadirse a los agentes de 200 desarrolladores
Demostrar que la skill mejora los resultados en las tareas del propio equipo antes de desplegarla
Escribe un pequeño conjunto de evaluación a partir de peticiones reales, ejecuta Tier 3 con --n-attempts 1 y un presupuesto de coste en un solo agente, y compara el Skill Lift con la línea base sin skill. Cada caso se ejecuta dos veces, así que el gasto en modelos casi se duplica respecto a una sola ejecución del agente.
Antes de decidirte
- Puesta en marcha
- pip install --upgrade skillevaluator, o clona el repositorio y usa uv run --python 3.13. skillevaluator quality-check sobre una carpeta de skill da una puntuación determinista sin clave. Tier 3 añade el extra tier3, claves de proveedor y Docker; skillevaluator doctor comprueba que todo está listo, no la inferencia.
- Integraciones
- Agentes: Codex, Claude Code y OpenCode, con Hermes experimental. Proveedores: NVIDIA Build, OpenAI, Anthropic y Amazon Bedrock mediante LiteLLM. Sandboxes: Docker, Kata, Daytona, E2B, Modal, Runloop y EC2 a través de Harbor 0.25.0. Escáneres: SkillSpector, Gitleaks, Semgrep. Informes en terminal, HTML, JSON, Markdown y SARIF; CI de GitHub y GitLab.
- Datos y privacidad
- Se ejecuta en local o en tu CI. Los niveles con LLM envían la documentación de la skill y las trazas de las tareas al proveedor de modelos que configures; la telemetría de Harbor y la carga de .env están desactivadas en sus procesos hijos. Las trazas de producción importadas se anonimizan y necesitan revisión humana antes de usarse. Apache 2.0.
- Coste a escala
- La herramienta es gratuita; el coste de Tier 3 es casos de evaluación por agentes por intentos por dos brazos, con varias llamadas al agente y al juez en cada ensayo, más las tarifas del sandbox en backends gestionados. No se publica ninguna estimación en dólares; --skip-baseline reduce los ensayos casi a la mitad mientras trabajas en el conjunto de datos, pero no puede producir Skill Lift.
- Límites
- Soporte experimental; la evaluación cambió en la 0.9.0, así que las puntuaciones antiguas no son comparables; versiones fijadas de las CLI de los agentes; los resultados varían entre ejecuciones y dependen de la calidad del conjunto de datos; Claude Code con modelos de NVIDIA Build funciona mediante un puente de compatibilidad marcado como experimental.
Lo bueno
- Mide el efecto de la skill con ejecuciones emparejadas con y sin ella
- Los controles de calidad no necesitan clave de API, GPU ni Docker
- Flujos de CI listos para GitHub y GitLab
- Metodología y salvedades de los benchmarks publicadas
Lo malo
- Las puntuaciones cambiaron de significado entre versiones
- Las ejecuciones reales necesitan Docker, claves y un presupuesto que fijas tú
- Las versiones fijadas de los agentes van por detrás de las CLI actuales
- Soporte experimental sin SLA
Ideal para
Equipos que publican skills de agentes para terceros y necesitan pruebas, en CI, de que cada skill es segura, distinta y mejora de verdad los resultados del agente.
Alternativas a SkillEvaluator
SkillEvaluator: preguntas frecuentes
- ¿Merece la pena SkillEvaluator?
- SkillEvaluator hace la pregunta que la mayoría de los escáneres de skills se saltan, si una skill ayuda de verdad al agente, y la responde con ejecuciones reales emparejadas, a cambio de una herramienta joven que cambia deprisa y de una factura de modelos que dimensionas tú. Le damos un 4.0 sobre 5.
- ¿Cuánto cuesta SkillEvaluator?
- Gratuito y de código abierto con licencia Apache 2.0. Tier 1 no necesita modelo; las comprobaciones con LLM y las ejecuciones reales se cobran a las tarifas de tu proveedor de modelos, con prototipado gratuito en NVIDIA Build para miembros elegibles del Developer Program, más los cargos del sandbox gestionado si usas uno.
- ¿Qué inconvenientes tiene SkillEvaluator?
- Las puntuaciones cambiaron de significado entre versiones; las ejecuciones reales necesitan Docker, claves y un presupuesto que fijas tú; las versiones fijadas de los agentes van por detrás de las CLI actuales; soporte experimental sin SLA.
- ¿Para quién es SkillEvaluator?
- Equipos que publican skills de agentes para terceros y necesitan pruebas, en CI, de que cada skill es segura, distinta y mejora de verdad los resultados del agente.
- ¿Cuánto cuesta SkillEvaluator para un equipo o en producción?
- La herramienta es gratuita; el coste de Tier 3 es casos de evaluación por agentes por intentos por dos brazos, con varias llamadas al agente y al juez en cada ensayo, más las tarifas del sandbox en backends gestionados. No se publica ninguna estimación en dólares; --skip-baseline reduce los ensayos casi a la mitad mientras trabajas en el conjunto de datos, pero no puede producir Skill Lift.
- ¿Es SkillEvaluator seguro para los datos de la empresa?
- Se ejecuta en local o en tu CI. Los niveles con LLM envían la documentación de la skill y las trazas de las tareas al proveedor de modelos que configures; la telemetría de Harbor y la carga de .env están desactivadas en sus procesos hijos. Las trazas de producción importadas se anonimizan y necesitan revisión humana antes de usarse. Apache 2.0.
- ¿Cuáles son las mejores alternativas a SkillEvaluator?
- Las alternativas más cercanas que hemos analizado son SkillSpector, Cisco Skill Scanner, promptfoo y Inspect.
Respuestas comprobadas el 13 nov 2026.
¿Desarrollas SkillEvaluator? Muestra esta nota en tu web
