SkillEvaluator의 개요
SkillEvaluator는 Agent Skills 사양이 정의하는 지시문과 스크립트 폴더인 에이전트 스킬을 테스트하는 NVIDIA의 오픈소스 프레임워크입니다. NVIDIA Verified Skills 파이프라인을 뒷받침하는 도구이자, 에이전트가 아니라 스킬을 평가하는 방법을 다룬 2026년 8월 arXiv 논문의 참조 구현입니다.
세 개의 독립된 단계로 동작합니다. Tier 1은 구조와 frontmatter를 검증하고 품질을 채점하며 NVIDIA의 SkillSpector, Gitleaks, 선택적으로 Semgrep으로 보안 검사를 합니다. Tier 2는 임베딩으로 한 스킬 안에서 반복되거나 카탈로그의 다른 스킬과 겹치는 지시를 찾아냅니다. Tier 3는 실제 에이전트(Codex, Claude Code, OpenCode, Hermes는 실험적)를 Harbor 프레임워크 위의 샌드박스에서 작업마다 두 번, 한 번은 스킬을 설치하고 한 번은 설치하지 않고 실행해 그 차이를 Skill Lift로 보고합니다.
PyPI에서 skillevaluator로 Python 3.12부터 3.14까지 설치할 수 있으며, skillevaluator ci init은 풀 리퀘스트마다 변경된 스킬을 검사하는 GitHub 또는 GitLab 워크플로를 만들어 줍니다. 버전 0.9.0은 2026년 11월 13일 Apache 2.0으로 나왔고, 지원은 실험적으로 표시돼 있습니다. 커뮤니티의 최선 노력 방식이며 SLA는 없습니다.
SkillEvaluator, 쓸 만한 가치가 있습니까?
스킬 도구 대부분은 스킬에 무엇이 적혀 있는지를 확인합니다. SkillEvaluator는 스킬이 무엇을 해내는지를 측정합니다. 같은 작업, 모델, 입력, 채점자로 스킬이 있을 때와 없을 때를 실행하고 그 차이를 Skill Lift로 보고합니다. NVIDIA가 직접 낸 2026년 8월 12일 스냅숏은 Claude Code와 Codex에서 30개가 넘는 제품용 검증 스킬 300개 이상을 대상으로, 정확성이 스킬 없이 46, 스킬이 있을 때 87이었고 평균 향상은 모든 차원에서 31점, 보안을 빼면 39점이었습니다. 함께 나온 논문은 더 신중합니다. 네 가지 에이전트 하네스에서 프로덕션 스킬 64개 중 58개를 다룬 947건의 채점된 짝 사례에서 평균 복합 향상은 0.2134였고 사례의 72.8%에서 양수였습니다.
이 수치에는 저자들 스스로 밝힌 단서가 붙습니다. 블로그 스냅숏에서 스킬의 85%는 작업당 한 번만 시도됐고 신뢰 구간은 제시되지 않았습니다. 관련 없을 때 불러온 스킬은 에이전트를 더 나쁘게 만들 수 있습니다. 효율에 대한 효과도 양쪽으로 갈려, 한 Jetson 스킬은 토큰을 76.9% 줄였고 cuOpt 설치 스킬은 120.3% 늘렸습니다. 논문은 정적 점수와 LLM 판정 점수의 상관이 약하다는 점(Spearman 0.14)도 발견했는데, 이는 품질 점수를 믿기보다 실제 실행 단계를 돌려야 하는 가장 강력한 근거입니다.
저렴한 길은 정말 저렴합니다. Tier 1은 API 키, GPU, Docker 없이 돌아가며, 동봉된 예제 스킬은 기본 합격선 70에 대해 100점 만점에 84.5점을 받습니다. 생성된 CI 워크플로는 검증된 Docker 이미지를 고정합니다. 비용과 설정은 Tier 3에서 생깁니다. Docker나 관리형 샌드박스(Daytona, E2B, Modal, Runloop), 에이전트와 판정자 모두를 위한 제공업체 키, 그리고 사례 수 곱하기 에이전트 수 곱하기 시도 횟수 곱하기 암 수만큼의 실행이 필요합니다. 문서는 달러 금액 추정을 거부하지만, 0.9.0은 토큰, 판정 호출, 비용 예산을 추가해 한도에 이르면 실행을 멈추고 부분 결과를 남깁니다.
아직 젊은 도구입니다. 첫 릴리스는 2026년 8월 5일의 0.1.0이었고 0.9.0은 11번째 릴리스이며, 릴리스 노트에 따르면 0.9.0의 채점 변경으로 이전 릴리스와 점수를 비교할 수 없게 됐습니다. 결과를 재현할 수 있도록 에이전트 버전이 고정돼 있는데(Codex 0.161.0, Claude Code 2.1.292, OpenCode 1.19.5), 이는 팀이 지금 쓰는 CLI를 시험하는 것이 아니라는 뜻이기도 합니다. 다른 사람을 위해 스킬을 공개하는 팀이라면 이 변동은 감수할 만합니다. 개인용 스킬 몇 개라면 Tier 1만으로도, 또는 SkillSpector로도 가치 대부분을 얻습니다.
제 역할을 하는 곳
Claude Code와 Codex용 공개 스킬 25개를 관리하는 데이터베이스 회사의 개발자 관계 팀
구조를 깨거나 비밀 정보를 노출하는 스킬 변경을 병합 전에 막기
skillevaluator ci init을 실행하고 Tier 1 검사를 받아들인 뒤 스킬 폴더를 고릅니다. 그러면 풀 리퀘스트마다 SkillSpector와 Gitleaks 검사, 그리고 기본 합격선 70의 품질 점수가 붙습니다. 이 단계에는 모델 키가 필요 없으므로 CI 비용은 러너 시간뿐입니다.
사내 스킬 카탈로그가 100개를 넘어선 플랫폼 엔지니어
서로 반복되어 에이전트의 선택을 헷갈리게 하는 스킬 찾기
--catalog로 카탈로그 JSON을 지정해 Tier 2를 실행하면 임베딩이 스킬 간 지시를 비교하며, 그 뒤 겹치는 스킬을 합치거나 폐기합니다. 임베딩과 채팅 제공업체가 필요하며, NVIDIA Build는 자격을 갖춘 회원에게 무료 프로토타이핑을 제공합니다.
한 공급업체의 스킬을 개발자 200명의 에이전트에 넣을지 결정하는 AI 책임자
배포 전에 그 스킬이 팀의 실제 작업에서 결과를 개선한다는 것을 입증하기
실제 요청으로 작은 평가 데이터셋을 만들고, 에이전트 하나에서 --n-attempts 1과 비용 예산을 걸어 Tier 3를 실행한 뒤 스킬 없는 기준선과 Skill Lift를 비교합니다. 사례마다 두 번 실행되므로 모델 비용은 에이전트를 한 번 실행할 때의 약 두 배가 됩니다.
도입 전 확인할 점
- 설정
- pip install --upgrade skillevaluator를 실행하거나, 클론한 뒤 uv run --python 3.13을 씁니다. 스킬 폴더에 skillevaluator quality-check를 실행하면 키 없이 결정적인 점수가 나옵니다. Tier 3에는 tier3 extra, 제공업체 키, Docker가 더 필요합니다. skillevaluator doctor는 준비 상태를 확인할 뿐 추론은 확인하지 않습니다.
- 연동
- 에이전트: Codex, Claude Code, OpenCode, Hermes는 실험적. 제공업체: LiteLLM을 통한 NVIDIA Build, OpenAI, Anthropic, Amazon Bedrock. 샌드박스: Harbor 0.25.0을 통한 Docker, Kata, Daytona, E2B, Modal, Runloop, EC2. 스캐너: SkillSpector, Gitleaks, Semgrep. 보고서는 터미널, HTML, JSON, Markdown, SARIF이며 GitHub와 GitLab CI를 지원합니다.
- 데이터와 개인정보
- 로 컬이나 자신의 CI에서 실행됩니다. LLM을 쓰는 단계는 스킬 문서와 작업 트레이스를 설정한 모델 제공업체로 보냅니다. Harbor 텔레메트리와 .env 로딩은 하위 프로세스에서 꺼져 있습니다. 가져온 프로덕션 트레이스는 가려진 상태로 들어오며 사용 전에 사람이 검토해야 합니다. Apache 2.0입니다.
- 대규모 사용 시 비용
- 도구는 무료입니다. Tier 3 비용은 평가 사례 수 곱하기 에이전트 수 곱하기 시도 횟수 곱하기 두 개의 암이며, 실행마다 에이전트와 판정자 호출이 여러 번 일어나고 관리형 백엔드에서는 샌드박스 요금이 붙습니다. 달러 추정치는 공개되지 않았습니다. --skip-baseline은 데이터셋 작업 중 실행을 대략 절반으로 줄이지만 Skill Lift를 낼 수 없습니다.
- 제한
- 실험적 지원입니다. 0.9.0에서 채점이 바뀌어 예전 점수와 비교할 수 없습니다. 에이전트 CLI 버전이 고정돼 있습니다. 결과는 실행마다 달라지고 데이터셋 품질에 좌우됩니다. NVIDIA Build 모델로 Claude Code를 쓰면 실험적으로 표시된 호환 브리지를 거칩니다.
좋은 점
- 스킬 유무를 짝지은 실행으로 효과를 측정
- 품질 검사에 API 키, GPU, Docker가 필요 없음
- 바로 쓰는 GitHub와 GitLab CI 워크플로
- 방법론과 벤치마크 단서 공개
아쉬운 점
- 릴리스 사이에 점수의 의미가 바뀜
- 실제 실행에 Docker, 키, 직접 정하는 예산이 필요
- 고정된 에이전트 버전이 최신 CLI보다 뒤처짐
- SLA 없는 실험적 지원
추천 대상
다른 사람을 위해 에이전트 스킬을 공개하고, 각 스킬이 안전하고 중복되지 않으며 에이전트 결과를 실제로 개선한다는 증거를 CI에서 제시해야 하는 팀.
SkillEvaluator 대안
SkillEvaluator: 자주 묻는 질문
- SkillEvaluator, 쓸 만한 가치가 있습니까?
- SkillEvaluator는 대부분의 스킬 스캐너가 건너뛰는 질문, 즉 스킬이 정말 에이전트에 도움이 되는지를 묻고 짝지은 실제 실행으로 답하지만, 그 대가로 젊고 빠르게 바뀌는 도구와 직접 가늠해야 하는 모델 비용을 감수해야 합니다. 평점은 5점 만점에 4.0점입니다.
- SkillEvaluator의 가격은 얼마입니까?
- Apache 2.0의 무료 오픈소스입니다. Tier 1에는 모델이 필요 없습니다. LLM 검사와 실제 실행은 모델 제공업체 요금으로 청구되며, 자격을 갖춘 Developer Program 회원은 NVIDIA Build에서 무료로 프로토타이핑할 수 있습니다. 관리형 샌드박스를 쓰면 그 요금이 추가됩니다.
- SkillEvaluator의 단점은 무엇입니까?
- 릴리스 사이에 점수의 의미가 바뀜; 실제 실행에 Docker, 키, 직접 정하는 예산이 필요; 고정된 에이전트 버전이 최신 CLI보다 뒤처짐; SLA 없는 실험적 지원.
- SkillEvaluator에 적합한 사람은 누구입니까?
- 다른 사람을 위해 에이전트 스킬을 공개하고, 각 스킬이 안전하고 중복되지 않으며 에이전트 결과를 실제로 개선한다는 증거를 CI에서 제시해야 하는 팀.
- 팀이나 프로덕션 환경에서 SkillEvaluator의 비용은 얼마입니까?
- 도구는 무료입니다. Tier 3 비용은 평가 사례 수 곱하기 에이전트 수 곱하기 시도 횟수 곱하기 두 개의 암이며, 실행마다 에이전트와 판정자 호출이 여러 번 일어나고 관리형 백엔드에서는 샌드박스 요금이 붙습니다. 달러 추정치는 공개되지 않았습니다. --skip-baseline은 데이터셋 작업 중 실행을 대략 절반으로 줄이지만 Skill Lift를 낼 수 없습니다.
- SkillEvaluator에 회사 데이터를 맡겨도 안전합니까?
- 로컬이나 자신의 CI에서 실행됩니다. LLM을 쓰는 단계는 스킬 문서와 작업 트레이스를 설정한 모델 제공업체로 보냅니다. Harbor 텔레메트리와 .env 로딩은 하위 프로세스에서 꺼져 있습니다. 가져온 프로덕션 트레이스는 가려진 상태로 들어오며 사용 전에 사람이 검토해야 합니다. Apache 2.0입니다.
- SkillEvaluator의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SkillSpector, Cisco Skill Scanner, promptfoo 및 Inspect입니다.
답변 확인일: 2026년 11월 13일.
SkillEvaluator 개발사입니까? 이 평점을 사이트에 표시하십시오
