Dokimi의 개요
Dokimi(그리스어로 '시험', '증명')는 코딩 에이전트의 컨텍스트에 추가한 것이 실제로 도움이 되는지 확인합니다. 같은 질문이나 코딩 과제를 변경 없이 한 번, 변경을 넣고 한 번 실행해 둘을 같은 방식으로 채점하고, 차이를 모델별로 p값과 함께 보고합니다. 변경 대상은 스킬, 스킬 카탈로그 전체, 제품 문서, MCP 문서 서버, 에이전트 페르소나, 저장소의 AGENTS.md나 CLAUDE.md일 수 있습니다.
모드는 세 가지입니다. 암 비교는 '도움이 되는가'에 답하며, 질문에는 LLM 심사자를 쓰거나, Claude Code, Codex, Harbor, BenchFlow 하네스로 실행하고 테스트로 채점하는 실제 Docker 코딩 과제를 씁니다. 새로움 분석은 스킬을 개별 주장으로 나누고, 스킬이 있을 때와 없을 때 각각 모델에 물어 추가됨, 중복, 악화, 여전히 누락으로 분류한 뒤 더 짧은 버전을 제안합니다. 저장소 모드는 안내 문서가 언급한 경로와 명령이 실제로 있는지 확인하고, 모델 호출마다 안내 문서 분량을 얼마나 지불하는지 재며, 안내 문서를 뺀 상태와 둔 상태로 저장소 자체의 과제에 에이전트를 투입합니다.
Intel이 만든 Python 명령줄 도구로 Apache-2.0 라이선스이며, 2026년 10월 19일 버전 0.1.0으로 PyPI에 공개됐습니다.
Dokimi, 쓸 만한 가치가 있습니까?
Dokimi는 스킬, MCP 서버, AGENTS.md가 코딩 에이전트를 더 낫게 만드는지 시험하는 공개 도구 가운데 우리가 찾은 것 중 가장 엄밀하며, 기대기에는 너무 새롭습니다. 저장소는 2026년 10월 8일에 만들어졌고 GitHub 스타 11개, 포크 9개이며, 커밋 563개 중 약 390개가 Intel 엔지니어 한 명의 것입니다. 활동은 활발하지만(열린 이슈와 풀 리퀘스트 85건, 확인한 당일에도 커밋), 외부 도입 사례는 아직 없습니다.
발상은 옳습니다. 하네스에 관한 조언 대부분은 아무도 측정하지 않은 채 쓰이고 공유되며, 컨텍스트 비용은 실제로 듭니다. 스킬이나 컨텍스트 파일의 한 줄 한 줄이 매 턴마다 비용이 됩니다. Dokimi는 같은 과제와 같은 모델로 변경 유무를 짝지은 암을 실행하고 차이를 통계와 함께 보고하므로, 작은 모델에는 도움이 되지만 최첨단 모델에는 아무 효과가 없는 스킬은 정확히 그렇게 드러납니다. Intel 스킬 33개를 대상으로 한 프로젝트 자체 연구에 따르면, 너그러운 채점에서 스킬이 말하는 내용의 70%는 최첨단 모델이 시키지 않아도 이미 내놓았고, 스킬에 심어 둔 그럴듯한 틀린 값은 85~94%의 경우 그대로 반복됐습니다. 이는 저장소 밖에서 돌린 프로토타입으로 얻은 프로젝트 자체의 수치이며, 문서도 기준치가 아니라 설계의 근거로 보라고 말합니다.
주의할 점: 이것은 연구용 계측 장비이지 대시보드가 아닙니다. 문서는 길고 정확하며, 심사 모델, 짝지은 검정, Harbor 과제가 무엇인지 안다고 전제합니다. 기본 모델은 답변에 openai/gpt-6.1-sol, 심사에 anthropic/claude-sonnet-5-5이므로 보통 API 키 두 개로 시작합니다. 실행형 과제에는 Docker와 직접 만든 채점 과제가 필요하며, SWE-bench 이미지는 하나에 약 4 GB입니다. 비용은 보이지만 쌓입니다. 19k 토큰 스킬의 분류는 호출 103회에 약 $1.80, 같은 스킬의 전체 연구 단계는 호출 1,900회에 약 $14.50였고, 저장소 에이전트 실행은 기본적으로 실행당 $2.00 예산이 잡히며 직접 정하지 않으면 배치 상한이 없습니다.
결론: Dokimi는 실험대이지 생산 라인이 아닙니다. 무료 점검(dokimi repo scan, catalog check, --estimate-only)은 스킬 팩이나 긴 AGENTS.md를 관리하는 사람이라면 오후 하나를 쓸 만합니다. 유료 실험은 프로젝트가 몇 달과 사용자를 더 쌓은 뒤에 해도 늦지 않습니다.
제 역할을 하는 곳
SDK용 에이전트 스킬 30개를 관리하는 데브렐 엔지니어
최첨단 모델에 정말 필요한 스킬과 그 부분이 무엇인지 알고 싶다
dokimi skill novelty analyze를 분류 단계에서 먼저 --estimate-only로, 그다음 --max-usd를 정해 실제로 실행합니다. 문서 예시에서 19k 토큰 스킬 하나에 약 $1.80가 들었고, 어떤 주장이 중복이거나 해로운지 알려 줍니다.
모노레포에 400줄짜리 AGENTS.md가 있는 테크 리드
안내 문서가 정확한지 확인하고 모델 호출마다 드는 비용을 보고 싶다
dokimi repo scan은 더는 없는 경로, 링크, 명령을 표시하고, dokimi repo budget은 호출마다 시작 시 지불하는 글자 수를 셉니다. 둘 다 모델 없이 돌고 비용이 없습니다.
MCP 문서 서버 두 개 중 하나를 고르는 플랫폼 팀
어느 쪽이 자사 제품 질문에 대한 에이전트 답변을 개선하는지 재고 싶다
기준 질문 세트를 작성하고, 같은 모델에서 baseline과 서버별 mcp: 암으로 arms run을 실행해 심사 점수와 p값을 비교합니다. arms run에는 지출 상한이 없으니 시작 전에 질문 수와 암 수를 곱해 규모를 가늠하세요.
도입 전 확인할 점
- 설정
- pip install dokimi(Python 3.11~3.14)를 실행하고 기본 모델용으로 OPENAI_API_KEY와 ANTHROPIC_API_KEY를 설정합니다. 또는 Claude Code에 로그인해 질의응답 실행에 claude-cli 백엔드를 씁니다. 코딩 과제 실행에는 Docker도 필요합니다.
- 연동
- 실행형 과제를 위한 Claude Code, Codex, Harbor(Terminal-Bench), BenchFlow 하네스, SWE-bench 행, 문서 출처로서 Context7과 MCP 서버. 모델 호출은 LiteLLM 가격 정보를 쓰며 OpenAI, Anthropic, Google, Vertex, OpenRouter, Bedrock 경로가 있습니다.
- 데이터와 개인정보
- 로컬에서 실행되며 프롬프트, 스킬 본문, 문서는 설정한 모델 제공업체에만 보냅니다. 암 결과물에는 심사자가 읽은 스킬이나 문서 본문이 그대로 저장되므로, 결과 파일을 공유하면 그 내용도 함께 공유됩니다.
- 대규모 사용 시 비용
- 정적 점검은 무료입니다. 문서 예시에서 19k 토큰 스킬의 분류는 약 $1.80, 연구 단계는 약 $14.50였습니다. 저장소 에이전 트 실행은 기본 회당 $2.00이므로 과제, 암, 모델, 반복의 조합에는 배치 상한이 필요합니다.
- 제한
- 버전 0.1.0이며 기본값이 빠르게 바뀝니다(릴리스 노트에 이전 기본값과 점수가 다르다고 명시). claude-cli 백엔드는 도구를 쓰는 암과 샘플링 설정을 거부합니다. 서로 다른 전송 방식의 점수는 합칠 수 없습니다.
좋은 점
- 변경 유무를 짝지은 실행을 모델별로 p값과 함께
- 스킬을 모델이 이미 알던 주장과 필요했던 주장으로 분해
- 저장소 안내 문서의 무료 정적 점검
- 유료 실행 전 지출 상한과 비용 추정
아쉬운 점
- 2026년 10월 생성, 스타 11개
- 사실상 관리자 한 명
- 가파른 학습 곡선과 긴 문서
- 주요 결과는 프로젝트 자체 연구에서 나옴
추천 대상
스킬 팩, MCP 문서 서버, 큰 AGENTS.md를 관리하며 그것이 에이전트의 행동을 바꾼다는 근거를 원하는 엔지니어.
Dokimi 대안
Dokimi: 자주 묻는 질문
- Dokimi, 쓸 만한 가치가 있습니까?
- Dokimi는 모든 스킬 팩과 모든 AGENTS.md가 답해야 할 질문을 신중하게 던지지만, 나온 지 한 달에 스타 11개이고 돌리려면 인내심 있는 엔지니어가 필요합니다. 평점은 5점 만점에 3.4점입니다.
- Dokimi의 가격은 얼마입니까?
- Apache-2.0 무료 오픈소스입니다. 비용은 모델 호출분이며, 문서 예시에서 19k 토큰 스킬 하나의 분류 분석은 약 $1.80였습니다. 모델을 전혀 쓰지 않는 점검도 여럿 있습니다.
- Dokimi의 단점은 무엇입니까?
- 2026년 10월 생성, 스타 11개; 사실상 관리자 한 명; 가파른 학습 곡선과 긴 문서; 주요 결과는 프로젝트 자체 연구에서 나옴.
- Dokimi에 적합한 사람은 누구입니까?
- 스킬 팩, MCP 문서 서버, 큰 AGENTS.md를 관리하며 그것이 에이전트의 행동을 바꾼다는 근거를 원하는 엔지니어.
- 팀이나 프로덕션 환경에서 Dokimi의 비용은 얼마입니까?
- 정적 점검은 무료입니다. 문서 예시에서 19k 토큰 스킬의 분류는 약 $1.80, 연구 단계는 약 $14.50였습니다. 저장소 에이전트 실행은 기본 회당 $2.00이므로 과제, 암, 모델, 반복의 조합에는 배치 상한이 필요합니다.
- Dokimi에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행되며 프롬프트, 스킬 본문, 문서는 설정한 모델 제공업체에만 보냅니다. 암 결과물에는 심사자가 읽은 스킬이나 문서 본문이 그대로 저장되므로, 결과 파일을 공유하면 그 내용도 함께 공유됩니다.
- Dokimi의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 promptfoo, Inspect 및 SkillSpector입니다.
답변 확인일: 2026년 11월 7일.