O que é Dokimi?
Dokimi (do grego para "teste" ou "prova") verifica se algo que você adiciona ao contexto de um agente de programação ajuda de fato. Ele roda as mesmas perguntas ou tarefas de código duas vezes, uma sem a mudança e outra com ela, avalia as duas do mesmo jeito e informa a diferença com um p-valor, por modelo. A mudança pode ser uma skill, um catálogo inteiro de skills, documentação de produto, um servidor MCP de documentação, uma persona de agente ou o AGENTS.md ou CLAUDE.md de um repositório.
São três modos. As comparações de braços respondem "ajuda?" com um juiz LLM para perguntas, ou com tarefas de código reais em Docker executadas pelos harnesses do Claude Code, Codex, Harbor ou BenchFlow e avaliadas por testes. A análise de novidade divide uma skill em afirmações, pergunta ao modelo sobre cada uma com e sem a skill, classifica-as como acrescentadas, redundantes, degradadas ou ainda ausentes e propõe uma versão mais curta. O modo repositório verifica se os caminhos e comandos citados nas suas orientações existem, mede quanta orientação cada chamada ao modelo paga e roda agentes nas próprias tarefas do repositório com as orientações removidas ou mantidas.
É uma ferramenta de linha de comando em Python da Intel, sob Apache-2.0, publicada no PyPI como versão 0.1.0 em 19 de outubro de 2026.
Dokimi vale a pena?
O Dokimi é a ferramenta aberta mais rigorosa que encontramos para testar se uma skill, um servidor MCP ou um AGENTS.md melhora um agente de programação, e é nova demais para se confiar nela. O repositório foi criado em 8 de outubro de 2026, tem 11 estrelas e 9 forks no GitHub, e cerca de 390 dos seus 563 commits vêm de um único engenheiro da Intel. A atividade é alta (85 issues e pull requests abertos, um commit no dia da nossa verificação), mas ainda não há adoção externa para apontar.
A ideia é a certa. A maioria dos conselhos sobre harnesses é escrita e compartilhada sem que ninguém os meça, e o custo de contexto é real: cada linha de uma skill ou de um arquivo de contexto é paga a cada turno. O Dokimi roda braços pareados com e sem a mudança nas mesmas tarefas e no mesmo modelo e informa o delta com estatística, de modo que uma skill que ajuda um modelo pequeno mas não acrescenta nada a um modelo de fronteira aparece exatamente assim. O estudo do próprio projeto com 33 skills da Intel concluiu que, com avaliação branda, 70% do que uma skill diz um modelo de fronteira já produz sem ser pedido, e que um valor errado mas plausível inserido numa skill era repetido em 85 a 94% dos casos. São números do projeto, obtidos com um protótipo rodado fora do repositório, e a documentação diz para tratá-los como evidência do desenho, não como referência.
O porém: é um instrumento de pesquisa, não um painel. A documentação é longa e precisa e supõe que você sabe o que são um modelo juiz, um teste pareado e uma tarefa do Harbor. Os modelos padrão são openai/gpt-6.1-sol para as respostas e anthropic/claude-sonnet-5-5 como juiz, então o normal é começar com duas chaves de API. Execuções de tarefas precisam de Docker e de tarefas avaliadas suas; as imagens do SWE-bench têm cerca de 4 GB cada. Os custos ficam visíveis, mas se acumulam: a triagem de uma skill de 19k tokens foram 103 chamadas e cerca de $1.80, o nível de estudo completo da mesma skill 1.900 chamadas e cerca de $14.50, e execuções de agentes em repositórios têm por padrão um orçamento de $2.00 por execução, sem teto por lote a menos que você defina um.
Nossa opinião: o Dokimi é a bancada do laboratório, não a linha de produção. As verificações gratuitas (dokimi repo scan, catalog check e --estimate-only) valem uma tarde para quem mantém um pacote de skills ou um AGENTS.md longo; os experimentos pagos farão sentido quando o projeto tiver mais alguns meses e mais alguns usuários.
Onde ele se destaca
Um engenheiro de relações com desenvolvedores que mantém 30 skills de agente para um SDK
Descobrir quais skills, e quais partes delas, um modelo de fronteira realmente precisa
Rode dokimi skill novelty analyze no nível de triagem primeiro com --estimate-only e depois de verdade com --max-usd; o exemplo da documentação custou cerca de $1.80 por skill de 19k tokens e mostra quais afirmações são redundantes ou prejudiciais.
Uma tech lead cujo monorepo tem um AGENTS.md de 400 linhas
Conferir se as orientações estão certas e ver quanto custam em cada chamada ao modelo
dokimi repo scan aponta caminhos, links e comandos que não existem mais, e dokimi repo budget conta os caracteres que cada chamada paga na inicialização. Os dois rodam sem modelo e não custam nada.
Uma equipe de plataforma escolhendo entre dois servidores MCP de documentação
Medir se algum deles melhora as respostas de um agente às perguntas sobre o próprio produto
Escreva um conjunto de perguntas de referência, rode arms run com baseline e um braço mcp: por servidor no mesmo modelo e compare as notas do juiz e os p-valores. arms run não tem teto de gasto, então calcule perguntas vezes braços antes de começar.
Antes de decidir
- Configuração
- pip install dokimi (Python 3.11 a 3.14), defina OPENAI_API_KEY e ANTHROPIC_API_KEY para os modelos padrão, ou entre no Claude Code e use o backend claude-cli nas execuções de perguntas e respostas. Execuções de tarefas de código também precisam de Docker.
- Integrações
- Harnesses do Claude Code, Codex, Harbor (Terminal-Bench) e BenchFlow para tarefas executáveis; linhas do SWE-bench; Context7 e servidores MCP como fontes de documentação; as chamadas ao modelo usam os preços do LiteLLM, com rotas para OpenAI, Anthropic, Google, Vertex, OpenRouter e Bedrock.
- Dados e privacidade
- Roda localmente e envia prompts, texto de skills e documentação só aos provedores de modelo que você configurar. Os artefatos de braços guardam o texto exato da skill ou da documentação que o juiz leu, então compartilhar um arquivo de resultados compartilha esse conteúdo.
- Custo em escala
- As verificações estáticas são gratuitas. No exemplo da documentação, a triagem de uma skill de 19k tokens custou cerca de $1.80 e o nível de estudo cerca de $14.50; execuções de agentes em repositórios custam $2.00 cada por padrão, então uma matriz de tarefas, braços, modelos e repetições precisa de teto por lote.
- Limites
- Versão 0.1.0 com padrões que mudam rápido (as notas da versão dizem que as notas diferem dos padrões anteriores); o backend claude-cli recusa braços com ferramentas e ajustes de amostragem; notas de transportes diferentes não podem ser agregadas.
O que é bom
- Execuções pareadas com e sem a mudança, por modelo, com p-valores
- Divide uma skill em afirmações que o modelo já sabia ou de que precisava
- Verificações estáticas gratuitas das orientações do repositório
- Tetos de gasto e estimativas de custo antes das execuções pagas
O que não é
- Criado em outubro de 2026; 11 estrelas
- Basicamente um mantenedor
- Curva de aprendizado íngreme e documentação longa
- Os resultados de destaque vêm do estudo do próprio projeto
Ideal para
Engenheiros que mantêm um pacote de skills, um servidor MCP de documentação ou um AGENTS.md grande e querem provas de que ele muda o que um agente faz.
Alternativas ao Dokimi
Dokimi: perguntas frequentes
- Dokimi vale a pena?
- O Dokimi faz a pergunta que todo pacote de skills e todo AGENTS.md deveria responder, e faz com cuidado, mas tem um mês, 11 estrelas e precisa de um engenheiro paciente para rodar. Damos nota 3.4 de 5.
- Quanto custa Dokimi?
- Gratuito e open source sob Apache-2.0. Você paga as chamadas ao modelo: uma análise de triagem de uma skill de 19k tokens custou cerca de $1.80 no exemplo da documentação, e várias verificações não usam modelo nenhum.
- Quais são as desvantagens de Dokimi?
- Criado em outubro de 2026; 11 estrelas; basicamente um mantenedor; curva de aprendizado íngreme e documentação longa; os resultados de destaque vêm do estudo do próprio projeto.
- Para quem Dokimi é indicado?
- Engenheiros que mantêm um pacote de skills, um servidor MCP de documentação ou um AGENTS.md grande e querem provas de que ele muda o que um agente faz.
- Quanto custa Dokimi para uma equipe ou em produção?
- As verificações estáticas são gratuitas. No exemplo da documentação, a triagem de uma skill de 19k tokens custou cerca de $1.80 e o nível de estudo cerca de $14.50; execuções de agentes em repositórios custam $2.00 cada por padrão, então uma matriz de tarefas, braços, modelos e repetições precisa de teto por lote.
- Dokimi é seguro para dados da empresa?
- Roda localmente e envia prompts, texto de skills e documentação só aos provedores de modelo que você configurar. Os artefatos de braços guardam o texto exato da skill ou da documentação que o juiz leu, então compartilhar um arquivo de resultados compartilha esse conteúdo.
- Quais são as melhores alternativas ao Dokimi?
- As alternativas mais próximas que analisamos são promptfoo, Inspect e SkillSpector.
Respostas verificadas em 7 de nov. de 2026.