¿Qué es Dokimi?
Dokimi (en griego, "prueba" o "ensayo") comprueba si algo que añades al contexto de un agente de programación ayuda de verdad. Ejecuta dos veces las mismas preguntas o tareas de código, una sin el cambio y otra con él, califica ambas del mismo modo e informa de la diferencia con un p-valor, por modelo. El cambio puede ser una skill, un catálogo entero de skills, documentación de producto, un servidor MCP de documentación, una persona de agente o el AGENTS.md o CLAUDE.md de un repositorio.
Tiene tres modos. Las comparaciones de brazos responden a "¿ayuda?" con un juez LLM para preguntas, o con tareas de código reales en Docker ejecutadas mediante los harnesses de Claude Code, Codex, Harbor o BenchFlow y calificadas por tests. El análisis de novedad divide una skill en afirmaciones individuales, pregunta al modelo por cada una con y sin la skill, las clasifica como añadidas, redundantes, degradadas o aún ausentes y propone una versión más corta. El modo repositorio comprueba que las rutas y comandos que cita tu guía existen, mide cuánta guía paga cada llamada al modelo y ejecuta agentes sobre las propias tareas del repositorio con la guía eliminada o mantenida.
Es una herramienta de línea de comandos en Python de Intel bajo Apache-2.0, publicada en PyPI como versión 0.1.0 el 19 de octubre de 2026.
¿Merece la pena Dokimi?
Dokimi es la herramienta abierta más rigurosa que hemos encontrado para comprobar si una skill, un servidor MCP o un AGENTS.md mejora a un agente de programación, y es demasiado nueva para fiarse de ella. El repositorio se creó el 8 de octubre de 2026, tiene 11 estrellas y 9 forks en GitHub, y unos 390 de sus 563 commits son de un solo ingeniero de Intel. La actividad es alta (85 issues y pull requests abiertos, un commit el mismo día de nuestra comprobación), pero todavía no hay adopción externa que señalar.
La idea es la correcta. La mayoría de los consejos sobre harnesses se escriben y comparten sin que nadie los mida, y el coste de contexto es real: cada línea de una skill o de un archivo de contexto se paga en cada turno. Dokimi ejecuta brazos emparejados con y sin el cambio sobre las mismas tareas y el mismo modelo e informa del delta con estadística, de modo que una skill que ayuda a un modelo pequeño pero no aporta nada a uno de frontera aparece exactamente así. Su propio estudio de 33 skills de Intel concluyó que, con calificación indulgente, el 70% de lo que dice una skill un modelo de frontera ya lo produce sin que se lo pidan, y que un valor erróneo pero plausible insertado en una skill se repetía en el 85 a 94% de los casos. Son cifras del proyecto, obtenidas con un prototipo ejecutado fuera del repositorio, y su documentación dice que se tomen como evidencia del diseño, no como referencia.
La pega: es un instrumento de investigación, no un panel. La documentación es larga y precisa y da por hecho que sabes qué son un modelo juez, una prueba emparejada y una tarea de Harbor. Los modelos por defecto son openai/gpt-6.1-sol para las respuestas y anthropic/claude-sonnet-5-5 como juez, así que lo habitual es empezar con dos claves de API. Las ejecuciones de tareas necesitan Docker y tus propias tareas calificadas; las imágenes de SWE-bench ocupan unos 4 GB cada una. Los costes se ven, pero se acumulan: el triaje de una skill de 19k tokens fueron 103 llamadas y unos $1.80, el nivel de estudio completo sobre la misma skill 1.900 llamadas y unos $14.50, y las ejecuciones de agentes en repositorios tienen por defecto un presupuesto de $2.00 por ejecución sin límite por lote salvo que fijes uno.
Nuestra opinión: Dokimi es el banco de laboratorio, no la planta de producción. Las comprobaciones gratuitas (dokimi repo scan, catalog check y --estimate-only) merecen una tarde para quien mantenga una colección de skills o un AGENTS.md largo; los experimentos de pago tendrán sentido cuando el proyecto lleve unos meses más y tenga algunos usuarios más.
Dónde se gana su sitio
Un ingeniero de relaciones con desarrolladores que mantiene 30 skills de agente para un SDK
Saber qué skills, y qué partes de ellas, necesita de verdad un modelo de frontera
Ejecuta dokimi skill novelty analyze en el nivel de triaje primero con --estimate-only y después en real con --max-usd; el ejemplo de la documentación costó unos $1.80 por skill de 19k tokens y devuelve qué afirmaciones son redundantes o dañinas.
Una responsable técnica cuyo monorepo tiene un AGENTS.md de 400 líneas
Comprobar que la guía es correcta y ver cuánto cuesta en cada llamada al modelo
dokimi repo scan marca rutas, enlaces y comandos que ya no existen, y dokimi repo budget cuenta los caracteres que paga cada llamada al arrancar. Ninguno usa modelo y ambos son gratis.
Un equipo de plataforma que elige entre dos servidores MCP de documentación
Medir si alguno mejora las respuestas de un agente a sus propias preguntas de producto
Escribe un conjunto de preguntas de referencia, ejecuta arms run con baseline y un brazo mcp: por servidor sobre el mismo modelo, y compara puntuaciones del juez y p-valores. arms run no tiene límite de gasto, así que calcula preguntas por brazos antes de empezar.
Antes de decidirte
- Puesta en marcha
- pip install dokimi (Python 3.11 a 3.14), configura OPENAI_API_KEY y ANTHROPIC_API_KEY para los modelos por defecto, o inicia sesión en Claude Code y usa el backend claude-cli para las ejecuciones de preguntas y respuestas. Las ejecuciones de tareas de código también necesitan Docker.
- Integraciones
- Harnesses de Claude Code, Codex, Harbor (Terminal-Bench) y BenchFlow para tareas ejecutables; filas de SWE-bench; Context7 y servidores MCP como fuentes de documentación; las llamadas al modelo usan los precios de LiteLLM, con rutas de OpenAI, Anthropic, Google, Vertex, OpenRouter y Bedrock.
- Datos y privacidad
- Se ejecuta en local y envía prompts, texto de skills y documentación solo a los proveedores de modelos que configures. Los artefactos de brazos guardan el texto exacto de la skill o la documentación que leyó el juez, así que compartir un archivo de resultados comparte ese contenido.
- Coste a escala
- Las comprobaciones estáticas son gratuitas. En el ejemplo de la documentación, el triaje de una skill de 19k tokens costó unos $1.80 y el nivel de estudio unos $14.50; las ejecuciones de agentes en repositorios tienen por defecto $2.00 cada una, así que una matriz de tareas, brazos, modelos y repeticiones necesita un límite por lote.
- Límites
- Versión 0.1.0 con valores por defecto que cambian rápido (las notas de la versión dicen que las puntuaciones difieren de los valores anteriores); el backend claude-cli rechaza los brazos con herramientas y los ajustes de muestreo; las puntuaciones de transportes distintos no se pueden agrupar.
Lo bueno
- Ejecuciones emparejadas con y sin el cambio, por modelo, con p-valores
- Divide una skill en afirmaciones que el modelo ya conocía o necesitaba
- Comprobaciones estáticas gratuitas de la guía del repositorio
- Límites de gasto y estimaciones de coste antes de las ejecuciones de pago
Lo malo
- Creado en octubre de 2026; 11 estrellas
- Casi un solo mantenedor
- Curva de aprendizaje empinada y documentación extensa
- Los resultados destacados vienen del estudio del propio proyecto
Ideal para
Ingenieros que mantienen una colección de skills, un servidor MCP de documentación o un AGENTS.md grande y quieren pruebas de que cambia lo que hace un agente.
Alternativas a Dokimi
Dokimi: preguntas frecuentes
- ¿Merece la pena Dokimi?
- Dokimi plantea la pregunta que toda colección de skills y todo AGENTS.md deberían responder, y la plantea con cuidado, pero tiene un mes, 11 estrellas y necesita un ingeniero paciente para ejecutarlo. Le damos un 3.4 sobre 5.
- ¿Cuánto cuesta Dokimi?
- Gratuito y de código abierto bajo Apache-2.0. Pagas las llamadas al modelo: un análisis de triaje de una skill de 19k tokens costó unos $1.80 en el ejemplo de la documentación, y varias comprobaciones no necesitan ningún modelo.
- ¿Qué inconvenientes tiene Dokimi?
- Creado en octubre de 2026; 11 estrellas; casi un solo mantenedor; curva de aprendizaje empinada y documentación extensa; los resultados destacados vienen del estudio del propio proyecto.
- ¿Para quién es Dokimi?
- Ingenieros que mantienen una colección de skills, un servidor MCP de documentación o un AGENTS.md grande y quieren pruebas de que cambia lo que hace un agente.
- ¿Cuánto cuesta Dokimi para un equipo o en producción?
- Las comprobaciones estáticas son gratuitas. En el ejemplo de la documentación, el triaje de una skill de 19k tokens costó unos $1.80 y el nivel de estudio unos $14.50; las ejecuciones de agentes en repositorios tienen por defecto $2.00 cada una, así que una matriz de tareas, brazos, modelos y repeticiones necesita un límite por lote.
- ¿Es Dokimi seguro para los datos de la empresa?
- Se ejecuta en local y envía prompts, texto de skills y documentación solo a los proveedores de modelos que configures. Los artefactos de brazos guardan el texto exacto de la skill o la documentación que leyó el juez, así que compartir un archivo de resultados comparte ese contenido.
- ¿Cuáles son las mejores alternativas a Dokimi?
- Las alternativas más cercanas que hemos analizado son promptfoo, Inspect y SkillSpector.
Respuestas comprobadas el 7 nov 2026.