SkillEvaluatorとは？
SkillEvaluator は、Agent Skills 仕様が定める指示とスクリプトのフォルダーであるエージェントのスキルをテストするための、NVIDIA のオープンソースのフレームワークです。NVIDIA Verified Skills パイプラインを支えるツールであり、エージェントではなくスキルを評価することを論じた2026年8月の arXiv 論文の参照実装でもあります。
三つの独立した段階で動きます。Tier 1 は構造と frontmatter を検証し、品質を採点し、NVIDIA の SkillSpector、Gitleaks、任意で Semgrep によるセキュリティスキャンを行います。Tier 2 は埋め込みを使い、一つのスキルの中で繰り返される指示や、カタログ内のほかのスキルと重なる指示を指摘します。Tier 3 は実際のエージェント（Codex、Claude Code、OpenCode。Hermes は実験的）を Harbor フレームワーク上のサンドボックスで動かし、タスクごとにスキルを入れた状態と入れない状態で 2 回実行して、その差を Skill Lift として報告します。
PyPI から skillevaluator として Python 3.12 から 3.14 にインストールでき、skillevaluator ci init はプルリクエストごとに変更されたスキルをチェックする GitHub や GitLab のワークフローを書き出します。バージョン 0.9.0 は2026年11月13日に Apache 2.0 で公開され、サポートは実験的と明記されています。コミュニティによるベストエフォートで、SLA はありません。
SkillEvaluatorは使 う価値があるか？
スキル向けのツールの多くは、スキルに何が書かれているかを調べます。SkillEvaluator は、スキルが何をもたらすかを測ります。同じタスク、モデル、入力、採点者で、スキルの有無だけを変えて実行し、その差を Skill Lift として報告します。NVIDIA 自身による2026年8月12日のスナップショットでは、Claude Code と Codex 上で 30 を超える製品向けの 300 以上の検証済みスキルを対象に、正確さはスキルなしで 46、スキルありで 87 となり、平均の向上は全次元で 31 ポイント、セキュリティを除くと 39 ポイントでした。付随する論文はより控えめで、四つのエージェントのハーネスで 64 の本番スキルのうち 58 を対象にした 947 件の採点済みの対のケースで、複合の向上の平均は 0.2134、正になったのはケースの 72.8% でした。
これらの数字には、著者自身が述べる注意点が付きます。ブログのスナップショットでは、スキルの 85% がタスクあたり 1 回しか試行されておらず、信頼区間は示されていません。関係のない場面で読み込まれたスキルはエージェントを悪化させることがあります。効率への影響はどちらにも振れ、ある Jetson のスキルはトークンを 76.9% 減らし、cuOpt のインストール用スキルは 120.3% 増やしました。論文はまた、静的な採点と LLM による判定の相関が弱い（Spearman 0.14）ことも示しており、品質の点数を信じるより実地の段階を回すべき最も強い理由になっています。
安く済ませる道は本当に安価です。Tier 1 は API キーも GPU も Docker もなしで動き、同梱の例のスキルは既定の合格点 70 に対して 100 点中 84.5 点を取ります。生成される CI のワークフローは検証済みの Docker イメ ージを固定します。費用と準備が必要になるのは Tier 3 で、Docker かマネージドのサンドボックス（Daytona、E2B、Modal、Runloop）、エージェントと判定役の両方の事業者キー、そしてケース数とエージェント数と試行回数とアーム数を掛けた試行回数が要ります。ドキュメントは金額の見積もりを出していませんが、0.9.0 ではトークン、判定の呼び出し、費用の予算が加わり、上限に達すると実行を止めて途中の結果を残します。
まだ若いツールです。最初のリリースは2026年8月5日の 0.1.0 で、0.9.0 は 11 番目にあたり、リリースノートによると 0.9.0 の採点の変更で以前のリリースとはスコアを比較できなくなりました。結果を再現できるようエージェントのバージョンは固定されており（Codex 0.161.0、Claude Code 2.1.292、OpenCode 1.19.5）、それはチームが今使っている CLI を試しているわけではないことも意味します。他者向けにスキルを公開するチームなら、この変動は受け入れる価値があります。個人用の数個のスキルなら、Tier 1 だけか SkillSpector で価値の大半をまかなえます。
真価を発揮する場面
Claude Code と Codex 向けの公開スキルを 25 個保守するデータベース企業のデベロッパーリレーションズチーム
構造を壊したり秘密情報を漏らしたりするスキルの変更をマージ前に止める
skillevaluator ci init を実行し、Tier 1 のチェックを受け入れてスキルのフォルダーを選びます。以後、プルリクエストごとに SkillSpector と Gitleaks のスキャンと、既定の合格点 70 の品質スコアが付きます。この段階はモデルのキーが不要なので、CI の費用はランナーの稼働時間だけです。
社内のスキルカタログが 100 件を超えたプラットフォームエンジニア
互いに重複してエージェントの選択を迷わせるスキルを見つける
カタログの JSON を --catalog で指定して Tier 2 を実行し、埋め込みでスキル間の指示を比べてから、重なるものを統合するか廃止します。埋め込みとチャットの事業者が必要で、NVIDIA Build は対象メンバーに無料のプロトタイピングを提供しています。
あるベンダーのスキルを 200 人の開発者のエージェントに加えるべきか判断する AI 責任者
展開する前に、自チームのタスクでそのスキルが結果を改善することを示す
実際の依頼から小さな評価データセットを作り、一つのエージェントで --n-attempts 1 と費用の予算を付けて Tier 3 を実行し、スキルなしのベースラインと Skill Lift を比べます。各ケースは 2 回実行されるので、モデルの支出はエージェントを 1 回実行する場合のおよそ 2 倍になります。
導入前に確認すること
- 導入
- pip install --upgrade skillevaluator、またはクローンして uv run --python 3.13 を使います。スキルのフォルダーに skillevaluator quality-check を実行すると、キーなしで決定的なスコアが出ます。Tier 3 では tier3 の extra、事業者のキー、Docker が加わります。skillevaluator doctor は準備状況を確認しますが、推論は確認しません。
- 連携
- エージェントは Codex、Claude Code、OpenCode で、Hermes は実験的です。事業者は LiteLLM 経由の NVIDIA Build、OpenAI、Anthropic、Amazon Bedrock。サンドボックスは Harbor 0.25.0 を通じた Docker、Kata、Daytona、E2B、Modal、Runloop、EC2。スキャナーは SkillSpector、Gitleaks、Semgrep。レポートはターミナル、HTML、JSON、Markdown、SARIF で、GitHub と GitLab の CI に対応します。
- データとプライバシー
- ローカルか自分の CI で動きます。LLM を使う段階は、スキルのドキュメントとタスクのトレースを設定したモデル事業者に送ります。Harbor のテレメトリーと .env の読み込みは子プロセスで無効になっています。取り込んだ本番のトレースは秘匿化され、使う前に人によるレビューが必要です。Apache 2.0 です。
- 大規模利用時のコスト
- ツールは無料です。Tier 3 の費用は評価ケース数、エージェント数、試行回数、二つのア ームの掛け算で決まり、試行ごとにエージェントと判定役の呼び出しが複数回発生し、マネージドのバックエンドではサンドボックスの料金も加わります。金額の見積もりは公開されていません。--skip-baseline はデータセットを作る間の試行をおよそ半分にしますが、Skill Lift は出せません。
- 制限
- サポートは実験的です。0.9.0 で採点が変わったため、古いスコアとは比較できません。エージェントの CLI のバージョンは固定です。結果は実行ごとにばらつき、データセットの質に左右されます。NVIDIA Build のモデルで Claude Code を使う場合は、実験的とされる互換ブリッジを経由します。
良い点
- スキルの有無で対にした実行で効果を測ります
- 品質チェックは API キー、GPU、Docker が不要です
- GitHub と GitLab 向けの CI ワークフローがすぐ使えます
- 手法とベンチマークの注意点が公開されています
気になる点
- リリースの間でスコアの意味が変わりました
- 実地の実行には Docker、キー、自分で決める予算が必要です
- 固定されたエ ージェントのバージョンが最新の CLI より遅れます
- SLA のない実験的なサポートです
おすすめの人
他者向けにエージェントのスキルを公開し、各スキルが安全で重複がなく、エージェントの結果を実際に改善することを CI で示す必要があるチーム。
SkillEvaluatorの代替
SkillEvaluator：よくある質問
- SkillEvaluatorは使う価値があるか？
- SkillEvaluator は、多くのスキルスキャナーが飛ばす問い、つまりスキルが本当にエージェントの役に立つのかを問い、対になった実地の実行で答えます。代償は、若く変化の速いツールであることと、モデルの費用を自分で見積もる必要があることです。 評価は5点満点中4.0点です。
- SkillEvaluatorの料金は？
- Apache 2.0 の無料オープンソースです。Tier 1 にモデルは不要です。LLM によるチェックと実地の実行はモデル事業者の料金で課金され、対象となる Developer Program のメンバーは NVIDIA Build で無料のプロトタイピングができます。マネージドのサンドボックスを使う場合はその料金もかかります。
- SkillEvaluatorの欠点は？
- リリースの間でスコアの意味が変わりました; 実地の実行には Docker、キー、自分で決める予算が必要です; 固定されたエージェントのバージョンが最新の CLI より遅れます; SLA のない実験的なサポートです.
- SkillEvaluatorは誰に向いているか？
- 他者向けにエージェントのスキルを公開し、各スキルが安全で重複がなく、エージェントの結果を実際に改善することを CI で示す必要があるチーム。
- チームや本番環境でSkillEvaluatorを使うと費用はいくらか？
- ツールは無料です。Tier 3 の費用は評価ケース数、エージェント数、試行回数、二つのアームの掛け算で決まり、試行ごとにエージェントと判定役の呼び出しが複数回発生し、マネージドのバックエンドではサンドボックスの料金も加わります。金額の見積もりは公開されていません。--skip-baseline はデータセットを作る間の試行をおよそ半分にしますが、Skill Lift は出せません。
- SkillEvaluatorは企業データを扱っても安全か？
- ローカルか自分の CI で動きます。LLM を使う段階は、スキルのドキュメントとタスクのトレースを設定したモデル 事業者に送ります。Harbor のテレメトリーと .env の読み込みは子プロセスで無効になっています。取り込んだ本番のトレースは秘匿化され、使う前に人によるレビューが必要です。Apache 2.0 です。
- SkillEvaluatorの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はSkillSpector, Cisco Skill Scanner, promptfoo 、 Inspectです。
回答確認日：2026年11月13日
SkillEvaluatorの開発元の方へ：この評価をサイトに掲載できます
