Dokimiとは？
Dokimi（ギリシャ語で「試験」「証明」）は、コーディングエージェントのコンテキストに加えたものが本当に役立つかを確かめます。同じ質問やコーディングタスクを、変更なしと変更ありで2回実行し、両方を同じ基準で採点して、その差をモデルごとにp値付きで報告します。対象の変更は、スキル、スキルカタログ全体、製品ドキュメント、MCPのドキュメントサーバー、エージェントのペルソナ、リポジトリのAGENTS.mdやCLAUDE.mdなどです。
モードは3つあります。アーム比較は「役に立つか」に答えるもので、質問にはLLMの審査員を使い、あるいはClaude Code、Codex、Harbor、BenchFlowのハーネスで実行してテストで採点する本物のDockerコーディングタスクを使います。新規性分析はスキルを個々の主張に分け、スキルの有無でそれぞれをモデルに尋ね、追加、冗長、劣化、依然として欠落のいずれかに分類し、短い版を提案します。リポジトリモードは、ガイダンスが挙げるパスやコマンドが実在するかを確かめ、モデル呼び出しごとにどれだけのガイダンス分を支払っているかを測り、ガイダンスを外した状態と残した状態でリポジトリ自身のタスクにエージェントを取り組ませます。
IntelのPython製コマンドラインツールで、ライセンスはApache-2.0です。2026年10月19日にバージョン0.1.0としてPyPIで公開されました。
Dokimiは使う価値があるか？
Dokimiは、スキル、MCPサーバー、AGENTS.mdがコーディングエージェントを良くするかどうかを確かめるオープンなツールとして、私たちが見つけた中で最も厳密です。そして、頼りにするには新しすぎます。リポジトリの作成は2026年10月8日、GitHubのスターは11、フォークは9で、563件のコミットのうち約390件は1人のIntelのエンジニアによるものです。活動は活発ですが（未解決のissueとプルリクエストが85件、確認した当日にもコミット）、外部での採用例はまだありません。
発想は正しいものです。ハーネスに関する助言の多くは、誰も測らないまま書かれ共有されており、コンテキストのコストは現実のものです。スキルやコンテキストファイルの1行ごとに、毎ターン支払いが発生します。Dokimiは同じタスクと同じモデルで変更の有無をペアにしたアームを走らせ、差分を統計付きで報告します。そのため、小さなモデルには役立つが最先端モデルには何ももたらさないスキルは、そのとおりに表れます。Intelの33のスキルを対象にしたプロジェクト自身の調査では、甘めの採点で、スキルが述べる内容の70%は最先端モデルが指示なしで既に出せること、そしてスキルに紛れ込ませたもっともらしい誤った値は85〜94%のケースで繰り返されたことがわかりました。これはリポジトリの外で動かしたプロトタイプによるプロジェクト自身の数字で、ドキュメントも基準値ではなく設計の裏付けとして扱うよう述べています。
注意点：これは研究用の計測器であって、ダッシュボードではありません。ドキュメント は長く正確で、審査員モデル、ペア検定、Harborのタスクが何かを知っている前提で書かれています。既定のモデルは回答がopenai/gpt-6.1-sol、審査員がanthropic/claude-sonnet-5-5なので、APIキーを2つ用意するのが通常の出発点です。実行型のタスクにはDockerと自前の採点付きタスクが必要で、SWE-benchのイメージは1つ約4 GBあります。コストは見えますが積み上がります。19kトークンのスキルのトリアージは103回の呼び出しで約$1.80、同じスキルの完全な調査ティアは1,900回の呼び出しで約$14.50でした。リポジトリでのエージェント実行は既定で1回あたり$2.00の予算があり、自分で設定しない限りバッチ単位の上限はありません。
結論：Dokimiは実験台であって、生産ラインではありません。無料のチェック（dokimi repo scan、catalog check、--estimate-only）は、スキルパックや長いAGENTS.mdを保守する人なら午後をひとつ使う価値があります。有料の実験は、プロジェクトがもう数か月の実績と利用者を得てからで十分です。
真価を発揮する場面
SDK向けに30のエージェントスキルを保守するデベロッパーリレーションズのエンジニア
最先端モデルが本当に必要とするのはどのスキルの、どの部分かを知りたい
dokimi skill novelty analyzeをトリアージのティアでまず--estimate-only付きで実行し、次に--max-usdを設定して本番実行します。ドキュメントの例では19kトークンのスキル1つで約$1.80 で、どの主張が冗長または有害かがわかります。
モノレポに400行のAGENTS.mdを抱えるテックリード
ガイダンスが正しいかを確かめ、モデル呼び出しごとのコストを見たい
dokimi repo scanはもう存在しないパス、リンク、コマンドを指摘し、dokimi repo budgetは各呼び出しが起動時に支払う文字数を数えます。どちらもモデルを使わず、費用はかかりません。
2つのMCPドキュメントサーバーのどちらにするか選ぶプラットフォームチーム
自社製品に関する質問へのエージェントの回答を、どちらかが改善するかを測りたい
基準となる質問セットを書き、同じモデルでbaselineとサーバーごとのmcp:アームを使ってarms runを実行し、審査員のスコアとp値を比べます。arms runには支出上限がないため、始める前に質問数とアーム数を掛けて規模を見積もってください。
導入前に確認すること
- 導入
- pip install dokimi（Python 3.11〜3.14）を実行し、既定のモデル用にOPENAI_API_KEYとANTHROPIC_API_KEYを設定します。あるいはClaude Codeにログインし、質疑応答の実行にはclaude-cliバックエンドを 使います。コーディングタスクの実行にはDockerも必要です。
- 連携
- 実行型タスク向けのClaude Code、Codex、Harbor（Terminal-Bench）、BenchFlowのハーネス。SWE-benchの行。ドキュメントソースとしてのContext7とMCPサーバー。モデル呼び出しはLiteLLMの価格情報を使い、OpenAI、Anthropic、Google、Vertex、OpenRouter、Bedrockの経路があります。
- データとプライバシー
- ローカルで動き、プロンプト、スキルの本文、ドキュメントは設定したモデルプロバイダーにだけ送られます。アームの成果物には審査員が読んだスキルやドキュメントの本文がそのまま保存されるため、結果ファイルを共有するとその内容も共有されます。
- 大規模利用時のコスト
- 静的チェックは無料です。ドキュメントの例では、19kトークンのスキルのトリアージが約$1.80、調査ティアが約$14.50でした。リポジトリでのエージェント実行は既定で1回$2.00なので、タスク、アーム、モデル、繰り返しの組み合わせにはバッチ上限が必要です。
- 制限
- バージョン0.1.0で既定値の変更が速く、リリースノートも以前の既定値とはスコアが異なると明記しています。claude-cliバックエンドはツールを使うアームとサンプリング設定を受け付けません。異 なる経路で得たスコアはまとめられません。
良い点
- 変更の有無をペアにした実行を、モデルごとにp値付きで
- スキルを、モデルが既に知っていた主張と必要としていた主張に分解
- リポジトリのガイダンスを無料で静的チェック
- 有料実行の前に支出上限とコスト見積もり
気になる点
- 2026年10月に作成、スターは11
- 実質的にメンテナーは1人
- 学習曲線が急で、ドキュメントが長い
- 主な知見はプロジェクト自身の調査によるもの
おすすめの人
スキルパック、MCPのドキュメントサーバー、大きなAGENTS.mdを保守していて、それがエージェントの行動を変えるという証拠がほしいエンジニア。
Dokimiの代替
Dokimi：よくある質問
- Dokimiは使う価値があるか？
- DokimiはすべてのスキルパックとすべてのAGENTS.mdが答えるべき問いを、慎重に問いかけます。ただし公開から1か月でスターは11、動かすに は根気のあるエンジニアが必要です。 評価は5点満点中3.4点です。
- Dokimiの料金は？
- Apache-2.0の無料オープンソースです。費用はモデル呼び出し分で、ドキュメントの例では19kトークンのスキルのトリアージ分析が約$1.80でした。モデルをまったく使わないチェックもいくつかあります。
- Dokimiの欠点は？
- 2026年10月に作成、スターは11; 実質的にメンテナーは1人; 学習曲線が急で、ドキュメントが長い; 主な知見はプロジェクト自身の調査によるもの.
- Dokimiは誰に向いているか？
- スキルパック、MCPのドキュメントサーバー、大きなAGENTS.mdを保守していて、それがエージェントの行動を変えるという証拠がほしいエンジニア。
- チームや本番環境でDokimiを使うと費用はいくらか？
- 静的チェックは無料です。ドキュメントの例では、19kトークンのスキルのトリアージが約$1.80、調査ティアが約$14.50でした。リポジトリでのエージェント実行は既定で1回$2.00なので、タスク、アーム、モデル、繰り返しの組み合わせにはバッチ上限が必要です。
- Dokimiは企業データを扱っても安全か？
- ローカルで動き、プロンプト、スキルの本文、ドキュメントは設定したモデルプロバイダーにだけ送られます。アームの成果物には審査員が読んだスキルやドキ ュメントの本文がそのまま保存されるため、結果ファイルを共有するとその内容も共有されます。
- Dokimiの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はpromptfoo, Inspect 、 SkillSpectorです。
回答確認日：2026年11月7日