O que é SkillEvaluator?
SkillEvaluator é o framework de código aberto da NVIDIA para testar skills de agentes, as pastas de instruções e scripts definidas pela especificação Agent Skills. É a ferramenta por trás do pipeline NVIDIA Verified Skills e a implementação de referência de um artigo do arXiv de agosto de 2026 sobre avaliar skills em vez de agentes.
Ele funciona em três níveis independentes. O Tier 1 valida a estrutura e o frontmatter, pontua a qualidade e roda varreduras de segurança com o SkillSpector da NVIDIA, o Gitleaks e, opcionalmente, o Semgrep. O Tier 2 usa embeddings para apontar orientações repetidas dentro de uma skill ou sobrepostas a outras de um catálogo. O Tier 3 roda um agente real (Codex, Claude Code ou OpenCode, com o Hermes em fase experimental) em um sandbox sobre o framework Harbor, duas vezes por tarefa, uma com a skill instalada e outra sem, e apresenta a diferença como Skill Lift.
Ele é instalado pelo PyPI como skillevaluator no Python 3.12 a 3.14, e skillevaluator ci init escreve workflows do GitHub ou do GitLab que verificam as skills alteradas a cada pull request. A versão 0.9.0 saiu em 13 de novembro de 2026 sob a Apache 2.0, com suporte marcado como experimental: comunitário, sem garantias e sem SLA.
SkillEvaluator vale a pena?
A maioria das ferramentas para skills verifica o que uma skill diz. SkillEvaluator mede o que ela faz: a mesma tarefa, o mesmo modelo, as mesmas entradas e o mesmo avaliador, com e sem a skill, e a diferença é apresentada como Skill Lift. O retrato da própria NVIDIA de 12 de agosto de 2026, com mais de 300 skills verificadas para mais de 30 produtos no Claude Code e no Codex, colocou a correção em 46 sem skill e 87 com ela, e o ganho médio em 31 pontos em todas as dimensões, ou 39 deixando a segurança de fora. O artigo que o acompanha é mais sóbrio: em 947 casos pareados pontuados, cobrindo 58 de 64 skills de produção em quatro harnesses de agentes, o ganho composto médio foi de 0,2134 e positivo em 72,8% dos casos.
Esses números vêm com ressalvas que os próprios autores fazem. No retrato do blog, 85% das skills tiveram uma única tentativa por tarefa e nenhum intervalo de confiança é informado; uma skill que é carregada quando não é relevante pode piorar o agente; e o efeito na eficiência vai para os dois lados, com uma skill de Jetson que cortou os tokens em 76,9% e uma skill de instalação do cuOpt que os aumentou em 120,3%. O artigo também encontrou correlação fraca entre as notas estáticas e as do juiz LLM (Spearman 0,14), o argumento mais forte para rodar os níveis ao vivo em vez de confiar em uma nota de qualidade.
O caminho barato é barato de verdade. O Tier 1 roda sem chave de API, GPU ou Docker; a skill de exemplo incluída tira 84,5 de 100 contra uma nota mínima padrão de 70, e o workflow de CI gerado fixa uma imagem Docker verificada. No Tier 3 chegam o custo e a configuração: Docker ou um sandbox gerenciado (Daytona, E2B, Modal ou Runloop), chaves de provedor para o agente e para o juiz, e um número de execuções igual a casos vezes agentes vezes tentativas vezes braços. A documentação se recusa a estimar um valor em dólares, embora a 0.9.0 tenha adicionado orçamentos de tokens, de chamadas ao juiz e de custo que interrompem uma execução e mantêm os resultados parciais.
Ele é jovem. A primeira versão foi a 0.1.0, em 5 de agosto de 2026, e a 0.9.0 é a décima primeira, com mudanças de avaliação na 0.9.0 que, segundo as notas, tornam as notas incomparáveis com as de versões anteriores. As versões dos agentes são fixadas (Codex 0.161.0, Claude Code 2.1.292, OpenCode 1.19.5) para que os resultados sejam reproduzíveis, o que também significa que você não está testando a CLI que sua equipe usa hoje. Para equipes que publicam skills para terceiros, essa instabilidade vale a pena; para um punhado de skills pessoais, o Tier 1 sozinho ou o SkillSpector cobrem quase todo o valor.
Onde ele se destaca
Uma equipe de relações com desenvolvedores de uma empresa de banco de dados que mantém 25 skills públicas para Claude Code e Codex
Bloquear antes do merge mudanças em skills que quebrem a estrutura ou vazem segredos
Rode skillevaluator ci init, aceite as checagens do Tier 1 e escolha a pasta de skills; cada pull request passa a receber varreduras do SkillSpector e do Gitleaks e uma nota de qualidade com mínimo padrão de 70. Esse nível não precisa de chave de modelo, então o custo de CI são os minutos do runner.
Um engenheiro de plataforma cujo catálogo interno de skills já passou de 100 itens
Encontrar skills que se repetem e confundem a escolha do agente
Rode o Tier 2 com --catalog apontando para um JSON de catálogo para que os embeddings comparem as orientações entre skills, depois mescle ou aposente as sobrepostas. É preciso um provedor de embeddings e de chat; o NVIDIA Build oferece prototipagem gratuita para membros elegíveis.
Um líder de IA decidindo se a skill de um fornecedor deve entrar nos agentes de 200 desenvolvedores
Provar que a skill melhora os resultados nas tarefas da própria equipe antes de liberá-la
Monte um pequeno conjunto de avaliação a partir de pedidos reais, rode o Tier 3 com --n-attempts 1 e um orçamento de custo em um único agente e compare o Skill Lift com a linha de base sem skill. Cada caso roda duas vezes, então o gasto com modelos praticamente dobra em relação a uma única execução do agente.
Antes de decidir
- Configuração
- pip install --upgrade skillevaluator, ou clone o repositório e use uv run --python 3.13. skillevaluator quality-check em uma pasta de skill dá uma nota determinística sem chave. O Tier 3 adiciona o extra tier3, chaves de provedor e Docker; skillevaluator doctor verifica a prontidão, não a inferência.
- Integrações
- Agentes: Codex, Claude Code e OpenCode, com Hermes experimental. Provedores: NVIDIA Build, OpenAI, Anthropic e Amazon Bedrock via LiteLLM. Sandboxes: Docker, Kata, Daytona, E2B, Modal, Runloop e EC2 pelo Harbor 0.25.0. Scanners: SkillSpector, Gitleaks, Semgrep. Relatórios em terminal, HTML, JSON, Markdown e SARIF; CI do GitHub e do GitLab.
- Dados e privacidade
- Roda localmente ou no seu CI. Os níveis com LLM enviam a documentação da skill e os traces das tarefas ao provedor de modelos que você configurar; a telemetria do Harbor e o carregamento de .env ficam desligados nos processos filhos. Traces de produção importados são anonimizados e precisam de revisão humana antes do uso. Apache 2.0.
- Custo em escala
- A ferramenta é gratuita; o custo do Tier 3 é casos de avaliação vezes agentes vezes tentativas vezes dois braços, com várias chamadas ao agente e ao juiz em cada execução, mais as tarifas de sandbox em backends gerenciados. Nenhuma estimativa em dólares é publicada; --skip-baseline corta as execuções mais ou menos pela metade durante o trabalho no conjunto de dados, mas não produz Skill Lift.
- Limites
- Suporte experimental; a avaliação mudou na 0.9.0, então notas antigas não são comparáveis; versões fixadas das CLIs dos agentes; os resultados variam entre execuções e dependem da qualidade do conjunto de dados; o Claude Code com modelos do NVIDIA Build roda por uma ponte de compatibilidade marcada como experimental.
O que é bom
- Mede o efeito da skill com execuções pareadas com e sem ela
- As checagens de qualidade dispensam chave de API, GPU e Docker
- Workflows de CI prontos para GitHub e GitLab
- Metodologia e ressalvas dos benchmarks publicadas
O que não é
- As notas mudaram de significado entre versões
- Execuções reais exigem Docker, chaves e um orçamento que você define
- As versões fixadas dos agentes ficam atrás das CLIs atuais
- Suporte experimental, sem SLA
Ideal para
Equipes que publicam skills de agentes para terceiros e precisam de evidência, no CI, de que cada skill é segura, distinta e realmente melhora os resultados do agente.
Alternativas ao SkillEvaluator
SkillEvaluator: perguntas frequentes
- SkillEvaluator vale a pena?
- SkillEvaluator faz a pergunta que a maioria dos scanners de skills pula, se uma skill de fato ajuda o agente, e a responde com execuções reais pareadas, ao custo de uma ferramenta jovem, que muda rápido, e de uma conta de modelos que você mesmo dimensiona. Damos nota 4.0 de 5.
- Quanto custa SkillEvaluator?
- Gratuito e de código aberto sob a Apache 2.0. O Tier 1 não precisa de modelo; as checagens com LLM e as execuções reais são cobradas pelas tarifas do seu provedor de modelos, com prototipagem gratuita no NVIDIA Build para membros elegíveis do Developer Program, além das cobranças de sandbox gerenciado se você usar um.
- Quais são as desvantagens de SkillEvaluator?
- As notas mudaram de significado entre versões; execuções reais exigem Docker, chaves e um orçamento que você define; as versões fixadas dos agentes ficam atrás das CLIs atuais; suporte experimental, sem SLA.
- Para quem SkillEvaluator é indicado?
- Equipes que publicam skills de agentes para terceiros e precisam de evidência, no CI, de que cada skill é segura, distinta e realmente melhora os resultados do agente.
- Quanto custa SkillEvaluator para uma equipe ou em produção?
- A ferramenta é gratuita; o custo do Tier 3 é casos de avaliação vezes agentes vezes tentativas vezes dois braços, com várias chamadas ao agente e ao juiz em cada execução, mais as tarifas de sandbox em backends gerenciados. Nenhuma estimativa em dólares é publicada; --skip-baseline corta as execuções mais ou menos pela metade durante o trabalho no conjunto de dados, mas não produz Skill Lift.
- SkillEvaluator é seguro para dados da empresa?
- Roda localmente ou no seu CI. Os níveis com LLM enviam a documentação da skill e os traces das tarefas ao provedor de modelos que você configurar; a telemetria do Harbor e o carregamento de .env ficam desligados nos processos filhos. Traces de produção importados são anonimizados e precisam de revisão humana antes do uso. Apache 2.0.
- Quais são as melhores alternativas ao SkillEvaluator?
- As alternativas mais próximas que analisamos são SkillSpector, Cisco Skill Scanner, promptfoo e Inspect.
Respostas verificadas em 13 de nov. de 2026.
Você faz o SkillEvaluator? Mostre esta nota no seu site
