Was ist SkillEvaluator?
SkillEvaluator ist NVIDIAs Open-Source-Framework zum Testen von Agent-Skills, den Ordnern mit Anweisungen und Skripten, die die Agent-Skills-Spezifikation definiert. Es ist das Werkzeug hinter der NVIDIA-Verified-Skills-Pipeline und die Referenzimplementierung eines arXiv-Papers vom August 2026, das Skills statt Agenten bewertet.
Es arbeitet in drei unabhängigen Stufen. Tier 1 prüft Struktur und Frontmatter, bewertet die Qualität und führt Sicherheitsscans mit NVIDIAs SkillSpector, Gitleaks und optional Semgrep aus. Tier 2 markiert per Embeddings Anweisungen, die sich innerhalb eines Skills wiederholen oder mit anderen in einem Katalog überschneiden. Tier 3 lässt einen echten Agenten (Codex, Claude Code oder OpenCode, Hermes experimentell) in einer Sandbox auf dem Harbor-Framework laufen, zweimal pro Aufgabe, einmal mit installiertem Skill und einmal ohne, und meldet den Unterschied als Skill Lift.
Es wird aus PyPI als skillevaluator auf Python 3.12 bis 3.14 installiert, und skillevaluator ci init schreibt GitHub- oder GitLab-Workflows, die geänderte Skills bei jedem Pull Request prüfen. Version 0.9.0 erschien am 13. November 2026 unter Apache 2.0, mit als experimentell gekennzeichnetem Support: Community, nach bestem Bemühen, ohne SLA.
Lohnt sich SkillEvaluator?
Die meisten Skill-Werkzeuge prüfen, was ein Skill sagt. SkillEvaluator misst, was er bewirkt: dieselbe Aufgabe, dasselbe Modell, dieselben Eingaben und derselbe Bewerter, mit und ohne Skill, und der Unterschied wird als Skill Lift gemeldet. NVIDIAs eigene Momentaufnahme vom 12. August 2026 über mehr als 300 verifizierte Skills für über 30 Produkte auf Claude Code und Codex ergab eine Korrektheit von 46 ohne Skill und 87 mit Skill sowie einen durchschnittlichen Zuwachs von 31 Punkten über alle Dimensionen, oder 39 ohne Sicherheit. Das begleitende Paper ist nüchterner: Über 947 bewertete gepaarte Fälle, die 58 von 64 Produktions-Skills auf vier Agenten-Harnesses abdecken, lag der mittlere zusammengesetzte Zuwachs bei 0,2134 und war in 72,8% der Fälle positiv.
Diese Zahlen kommen mit Einschränkungen, die die Autoren selbst nennen. In der Blog-Momentaufnahme hatten 85% der Skills nur einen Versuch pro Aufgabe, und es werden keine Konfidenzintervalle angegeben; ein Skill, der lädt, obwohl er nicht passt, kann den Agenten verschlechtern; und der Effekt auf die Effizienz geht in beide Richtungen, mit einem Jetson-Skill, der die Token um 76,9% senkte, und einem cuOpt-Installations-Skill, der sie um 120,3% erhöhte. Das Paper fand außerdem nur einen schwachen Zusammenhang zwischen statischen Bewertungen und denen des LLM-Richters (Spearman 0,14), das stärkste Argument dafür, die Live-Stufen laufen zu lassen, statt einer Qualitätsnote zu vertrauen.
Der günstige Weg ist wirklich günstig. Tier 1 läuft ohne API-Schlüssel, GPU oder Docker; der mitgelieferte Beispiel-Skill erreicht 84,5 von 100 bei einer Standard-Bestehensgrenze von 70, und der erzeugte CI-Workflow pinnt ein verifiziertes Docker-Image. Bei Tier 3 kommen Kosten und Einrichtung: Docker oder eine verwaltete Sandbox (Daytona, E2B, Modal oder Runloop), Anbieterschlüssel für Agent und Richter und eine Zahl von Durchläufen aus Fällen mal Agenten mal Versuchen mal Armen. Die Dokumentation verweigert eine Dollar-Schätzung, doch 0.9.0 brachte Budgets für Token, Richteraufrufe und Kosten, die einen Lauf stoppen und Teilergebnisse behalten.
Es ist jung. Das erste Release war 0.1.0 am 5. August 2026, und 0.9.0 ist das elfte, mit Bewertungsänderungen in 0.9.0, die laut Release Notes die Ergebnisse mit früheren Releases unvergleichbar machen. Die Agentenversionen sind gepinnt (Codex 0.161.0, Claude Code 2.1.292, OpenCode 1.19.5), damit Ergebnisse reproduzierbar bleiben, was auch heißt, dass du nicht die CLI testest, die dein Team heute nutzt. Für Teams, die Skills für andere veröffentlichen, lohnt sich dieses Hin und Her; für eine Handvoll eigener Skills decken Tier 1 allein oder SkillSpector den größten Teil des Nutzens ab.
Wo es sich lohnt
Ein Developer-Relations-Team eines Datenbankunternehmens, das 25 öffentliche Skills für Claude Code und Codex pflegt
Skill-Änderungen, die die Struktur brechen oder Geheimnisse preisgeben, vor dem Merge blockieren
skillevaluator ci init ausführen, die Tier-1-Prüfungen übernehmen und den Skill-Ordner wählen; jeder Pull Request erhält dann SkillSpector- und Gitleaks-Scans und eine Qualitätsnote mit einer Standard-Bestehensgrenze von 70. Für diese Stufe ist kein Modellschlüssel nötig, die CI-Kosten sind also Runner-Minuten.
Ein Plattform-Ingenieur, dessen interner Skill-Katalog über 100 Einträge gewachsen ist
Skills finden, die sich gegenseitig wiederholen und die Auswahl des Agenten verwirren
Tier 2 mit --catalog auf eine Katalog-JSON ausführen, damit Embeddings die Anweisungen über Skills hinweg vergleichen, und dann überlappende zusammenführen oder ausmustern. Nötig sind ein Embedding- und ein Chat-Anbieter; NVIDIA Build bietet berechtigten Mitgliedern kostenloses Prototyping.
Eine KI-Leitung, die entscheidet, ob der Skill eines Anbieters in die Agenten von 200 Entwicklern gehört
Vor dem Rollout belegen, dass der Skill die Ergebnisse bei den eigenen Aufgaben verbessert
Aus echten Anfragen einen kleinen Evaluationsdatensatz schreiben, Tier 3 mit --n-attempts 1 und einem Kostenbudget auf einem Agenten laufen lassen und den Skill Lift mit der Basislinie ohne Skill vergleichen. Jeder Fall läuft zweimal, die Modellausgaben verdoppeln sich also ungefähr gegenüber einem einzelnen Agentenlauf.
Bevor du dich festlegst
- Einrichtung
- pip install --upgrade skillevaluator oder klonen und uv run --python 3.13 nutzen. skillevaluator quality-check auf einen Skill-Ordner liefert ohne Schlüssel eine deterministische Bewertung. Tier 3 braucht zusätzlich das Extra tier3, Anbieterschlüssel und Docker; skillevaluator doctor prüft die Bereitschaft, nicht die Inferenz.
- Integrationen
- Agenten: Codex, Claude Code und OpenCode, Hermes experimentell. Anbieter: NVIDIA Build, OpenAI, Anthropic und Amazon Bedrock über LiteLLM. Sandboxes: Docker, Kata, Daytona, E2B, Modal, Runloop und EC2 über Harbor 0.25.0. Scanner: SkillSpector, Gitleaks, Semgrep. Berichte in Terminal, HTML, JSON, Markdown und SARIF; CI für GitHub und GitLab.
- Daten und Datenschutz
- Läuft lokal oder in deiner CI. Stufen mit LLM schicken Skill-Dokumentation und Aufgaben-Traces an den Modellanbieter, den du einstellst; Harbor-Telemetrie und das Laden von .env sind in seinen Kindprozessen abgeschaltet. Importierte Produktions-Traces werden geschwärzt und brauchen vor der Nutzung eine menschliche Prüfung. Apache 2.0.
- Kosten im großen Maßstab
- Das Werkzeug ist kostenlos; die Kosten von Tier 3 sind Evaluationsfälle mal Agenten mal Versuche mal zwei Arme, wobei jeder Durchlauf mehrere Agenten- und Richteraufrufe macht, dazu Sandbox-Gebühren bei verwalteten Backends. Eine Dollar-Schätzung ist nicht veröffentlicht; --skip-baseline halbiert die Durchläufe bei der Arbeit am Datensatz ungefähr, kann aber keinen Skill Lift liefern.
- Grenzen
- Experimenteller Support; die Bewertung änderte sich in 0.9.0, ältere Ergebnisse sind also nicht vergleichbar; gepinnte Versionen der Agenten-CLIs; Ergebnisse schwanken zwischen Läufen und hängen von der Qualität des Datensatzes ab; Claude Code mit NVIDIA-Build-Modellen läuft über eine als experimentell gekennzeichnete Kompatibilitätsbrücke.
Was gut ist
- Misst die Wirkung eines Skills mit gepaarten Läufen mit und ohne
- Qualitätsprüfungen brauchen keinen API-Schlüssel, keine GPU und kein Docker
- Fertige CI-Workflows für GitHub und GitLab
- Veröffentlichte Methodik und Benchmark-Einschränkungen
Was nicht
- Bewertungen änderten ihre Bedeutung zwischen Releases
- Echte Läufe brauchen Docker, Schlüssel und ein selbst bemessenes Budget
- Gepinnte Agentenversionen hinken aktuellen CLIs hinterher
- Experimenteller Support ohne SLA
Am besten für
Teams, die Agent-Skills für andere veröffentlichen und in CI belegen müssen, dass jeder Skill sicher und eigenständig ist und die Ergebnisse des Agenten tatsächlich verbessert.
Alternativen zu SkillEvaluator
SkillEvaluator: häufige Fragen
- Lohnt sich SkillEvaluator?
- SkillEvaluator stellt die Frage, die die meisten Skill-Scanner auslassen, nämlich ob ein Skill dem Agenten wirklich hilft, und beantwortet sie mit gepaarten echten Läufen, um den Preis eines jungen, schnell wechselnden Werkzeugs und einer Modellrechnung, die du selbst abschätzt. Wir bewerten es mit 4.0 von 5.
- Was kostet SkillEvaluator?
- Kostenlos und Open Source unter Apache 2.0. Tier 1 braucht kein Modell; LLM-Prüfungen und echte Läufe werden zu den Tarifen deines Modellanbieters abgerechnet, mit kostenlosem Prototyping auf NVIDIA Build für berechtigte Mitglieder des Developer Program, dazu Gebühren für eine verwaltete Sandbox, falls du eine nutzt.
- Welche Nachteile hat SkillEvaluator?
- Bewertungen änderten ihre Bedeutung zwischen Releases; Echte Läufe brauchen Docker, Schlüssel und ein selbst bemessenes Budget; Gepinnte Agentenversionen hinken aktuellen CLIs hinterher; Experimenteller Support ohne SLA.
- Für wen eignet sich SkillEvaluator?
- Teams, die Agent-Skills für andere veröffentlichen und in CI belegen müssen, dass jeder Skill sicher und eigenständig ist und die Ergebnisse des Agenten tatsächlich verbessert.
- Was kostet SkillEvaluator für ein Team oder im Produktivbetrieb?
- Das Werkzeug ist kostenlos; die Kosten von Tier 3 sind Evaluationsfälle mal Agenten mal Versuche mal zwei Arme, wobei jeder Durchlauf mehrere Agenten- und Richteraufrufe macht, dazu Sandbox-Gebühren bei verwalteten Backends. Eine Dollar-Schätzung ist nicht veröffentlicht; --skip-baseline halbiert die Durchläufe bei der Arbeit am Datensatz ungefähr, kann aber keinen Skill Lift liefern.
- Ist SkillEvaluator sicher für Firmendaten?
- Läuft lokal oder in deiner CI. Stufen mit LLM schicken Skill-Dokumentation und Aufgaben-Traces an den Modellanbieter, den du einstellst; Harbor-Telemetrie und das Laden von .env sind in seinen Kindprozessen abgeschaltet. Importierte Produktions-Traces werden geschwärzt und brauchen vor der Nutzung eine menschliche Prüfung. Apache 2.0.
- Was sind die besten Alternativen zu SkillEvaluator?
- Die nächsten Alternativen, die wir getestet haben, sind SkillSpector, Cisco Skill Scanner, promptfoo und Inspect.
Antworten geprüft am 13. Nov. 2026.
Du entwickelst SkillEvaluator? Zeig diese Bewertung auf deiner Website
