Was ist Dokimi?
Dokimi (griechisch für "Test" oder "Probe") prüft, ob etwas, das du dem Kontext eines Coding-Agenten hinzufügst, tatsächlich hilft. Es lässt dieselben Fragen oder Programmieraufgaben zweimal laufen, einmal ohne und einmal mit der Änderung, bewertet beide gleich und meldet den Unterschied mit p-Wert, pro Modell. Die Änderung kann ein Skill sein, ein ganzer Skill-Katalog, Produktdokumentation, ein MCP-Dokumentationsserver, eine Agenten-Persona oder die AGENTS.md oder CLAUDE.md eines Repositorys.
Es gibt drei Modi. Arm-Vergleiche beantworten "Hilft es?" mit einem LLM-Judge für Fragen oder mit echten Docker-Programmieraufgaben, die über die Harnesses von Claude Code, Codex, Harbor oder BenchFlow laufen und von Tests bewertet werden. Die Novelty-Analyse zerlegt einen Skill in einzelne Aussagen, fragt das Modell zu jeder mit und ohne Skill, ordnet sie als hinzugefügt, redundant, verschlechtert oder weiterhin fehlend ein und schlägt eine kürzere Fassung vor. Der Repository-Modus prüft, ob die Pfade und Befehle aus deiner Anleitung existieren, misst, wie viel Anleitung jeder Modellaufruf mitbezahlt, und lässt Agenten an den eigenen Aufgaben des Repositorys mit entfernter oder beibehaltener Anleitung arbeiten.
Es ist ein Python-Kommandozeilenwerkzeug von Intel unter Apache-2.0, auf PyPI als Version 0.1.0 am 19. Oktober 2026 erschienen.
Lohnt sich Dokimi?
Dokimi ist das gründlichste offene Werkzeug, das wir gefunden haben, um zu prüfen, ob ein Skill, ein MCP-Server oder eine AGENTS.md einen Coding-Agenten besser macht, und es ist zu neu, um sich darauf zu verlassen. Das Repository wurde am 8. Oktober 2026 angelegt, hat 11 GitHub-Sterne und 9 Forks, und rund 390 seiner 563 Commits stammen von einem einzigen Intel-Engineer. Die Aktivität ist hoch (85 offene Issues und Pull Requests, ein Commit am Tag unserer Prüfung), aber eine Nutzung außerhalb gibt es noch nicht.
Die Idee stimmt. Die meisten Ratschläge zu Harnesses werden geschrieben und geteilt, ohne dass sie jemand misst, und die Kontextkosten sind real: Jede Zeile eines Skills oder einer Kontextdatei wird in jeder Runde bezahlt. Dokimi lässt gepaarte Arme mit und ohne Änderung auf denselben Aufgaben und demselben Modell laufen und meldet das Delta mit Statistik, sodass ein Skill, der einem kleinen Modell hilft, einem Frontier-Modell aber nichts bringt, genau so erscheint. Die eigene Studie zu 33 Intel-Skills ergab, dass bei nachsichtiger Bewertung 70% dessen, was ein Skill sagt, ein Frontier-Modell schon ungefragt liefert, und dass ein plausibler falscher Wert, der in einen Skill eingeschleust wurde, in 85 bis 94% der Fälle wiederholt wurde. Das sind Zahlen des Projekts, gewonnen mit einem Prototyp außerhalb des Repositorys, und die Dokumentation sagt, man solle sie als Beleg für das Design und nicht als Referenzwert sehen.
Der Haken: Das ist ein Forschungsinstrument, kein Dashboard. Die Dokumentation ist lang und präzise und setzt voraus, dass du weißt, was ein Judge-Modell, ein gepaarter Test und eine Harbor-Aufgabe sind. Standardmodelle sind openai/gpt-6.1-sol für Antworten und anthropic/claude-sonnet-5-5 als Judge, also sind zwei API-Schlüssel der übliche Start. Ausführbare Läufe brauchen Docker und eigene bewertete Aufgaben; SWE-bench-Images sind jeweils etwa 4 GB groß. Die Kosten sind sichtbar, summieren sich aber: Die Triage eines Skills mit 19k Tokens waren 103 Aufrufe und etwa $1.80, die volle Study-Stufe für denselben Skill 1.900 Aufrufe und etwa $14.50, und Agentenläufe im Repository haben standardmäßig ein Budget von $2.00 pro Lauf ohne Batch-Grenze, solange du keine setzt.
Unser Fazit: Dokimi ist die Laborbank, nicht die Fertigungshalle. Die kostenlosen Prüfungen (dokimi repo scan, catalog check und --estimate-only) sind einen Nachmittag wert für alle, die ein Skill-Paket oder eine lange AGENTS.md pflegen; die bezahlten Experimente lohnen sich, wenn das Projekt ein paar Monate und ein paar Nutzer mehr hinter sich hat.
Wo es sich lohnt
Ein Developer-Relations-Engineer, der 30 Agenten-Skills für ein SDK pflegt
Herausfinden, welche Skills und welche Teile davon ein Frontier-Modell wirklich braucht
dokimi skill novelty analyze auf der Triage-Stufe zuerst mit --estimate-only und dann echt mit gesetztem --max-usd ausführen; das Beispiel der Dokumentation kostete etwa $1.80 pro Skill mit 19k Tokens und zeigt, welche Aussagen redundant oder schädlich sind.
Eine Tech-Lead, deren Monorepo eine AGENTS.md mit 400 Zeilen hat
Prüfen, ob die Anleitung stimmt, und sehen, was sie bei jedem Modellaufruf kostet
dokimi repo scan markiert Pfade, Links und Befehle, die es nicht mehr gibt, und dokimi repo budget zählt die Zeichen, die jeder Aufruf beim Start bezahlt. Beides läuft ohne Modell und kostet nichts.
Ein Plattformteam, das zwischen zwei MCP-Dokumentationsservern wählt
Messen, ob einer davon die Antworten eines Agenten auf eigene Produktfragen verbessert
Ein Golden-Set an Fragen schreiben, arms run mit baseline und je einem mcp:-Arm pro Server auf demselben Modell ausführen und Judge-Werte und p-Werte vergleichen. arms run hat keine Ausgabengrenze, also vorher Fragen mal Arme überschlagen.
Bevor du dich festlegst
- Einrichtung
- pip install dokimi (Python 3.11 bis 3.14), OPENAI_API_KEY und ANTHROPIC_API_KEY für die Standardmodelle setzen oder bei Claude Code anmelden und für Frage-Antwort-Läufe das Backend claude-cli nutzen. Läufe mit Programmieraufgaben brauchen zusätzlich Docker.
- Integrationen
- Harnesses für Claude Code, Codex, Harbor (Terminal-Bench) und BenchFlow für ausführbare Aufgaben; SWE-bench-Zeilen; Context7 und MCP-Server als Dokumentationsquellen; Modellaufrufe laufen über die Preise von LiteLLM, mit Routen zu OpenAI, Anthropic, Google, Vertex, OpenRouter und Bedrock.
- Daten und Datenschutz
- Läuft lokal und schickt Prompts, Skill-Texte und Dokumentation nur an die Modellanbieter, die du einstellst. Arm-Artefakte speichern den genauen Skill- oder Dokumentationstext, den der Judge gelesen hat; wer eine Ergebnisdatei teilt, teilt also diesen Inhalt.
- Kosten im großen Maßstab
- Statische Prüfungen sind kostenlos. Im Beispiel der Dokumentation kostete die Triage eines Skills mit 19k Tokens etwa $1.80 und die Study-Stufe etwa $14.50; Agentenläufe im Repository haben standardmäßig je $2.00, eine Matrix aus Aufgaben, Armen, Modellen und Wiederholungen braucht daher eine Batch-Grenze.
- Grenzen
- Version 0.1.0 mit sich schnell ändernden Standardwerten (laut Release Notes weichen die Werte von früheren Standards ab); das Backend claude-cli lehnt Arme mit Tools und Sampling-Einstellungen ab; Werte aus verschiedenen Transporten lassen sich nicht zusammenlegen.
Was gut ist
- Gepaarte Läufe mit und ohne Änderung, pro Modell, mit p-Werten
- Zerlegt einen Skill in Aussagen, die das Modell schon kannte oder brauchte
- Kostenlose statische Prüfungen der Repository-Anleitung
- Ausgabengrenzen und Kostenschätzungen vor bezahlten Läufen
Was nicht
- Im Oktober 2026 angelegt; 11 Sterne
- Im Wesentlichen ein Maintainer
- Steile Lernkurve und lange Dokumentation
- Kernaussagen stammen aus der eigenen Studie des Projekts
Am besten für
Engineers, die ein Skill-Paket, einen MCP-Dokumentationsserver oder eine große AGENTS.md pflegen und belegen wollen, dass sie das Verhalten eines Agenten verändern.
Alternativen zu Dokimi
Dokimi: häufige Fragen
- Lohnt sich Dokimi?
- Dokimi stellt die Frage, die jedes Skill-Paket und jede AGENTS.md beantworten müsste, und stellt sie sorgfältig, ist aber einen Monat alt, hat 11 Sterne und braucht einen geduldigen Engineer. Wir bewerten es mit 3.4 von 5.
- Was kostet Dokimi?
- Kostenlos und Open Source unter Apache-2.0. Du zahlst die Modellaufrufe: Eine Triage-Analyse eines Skills mit 19k Tokens kostete im Beispiel der Dokumentation etwa $1.80, und mehrere Prüfungen brauchen gar kein Modell.
- Welche Nachteile hat Dokimi?
- Im Oktober 2026 angelegt; 11 Sterne; Im Wesentlichen ein Maintainer; Steile Lernkurve und lange Dokumentation; Kernaussagen stammen aus der eigenen Studie des Projekts.
- Für wen eignet sich Dokimi?
- Engineers, die ein Skill-Paket, einen MCP-Dokumentationsserver oder eine große AGENTS.md pflegen und belegen wollen, dass sie das Verhalten eines Agenten verändern.
- Was kostet Dokimi für ein Team oder im Produktivbetrieb?
- Statische Prüfungen sind kostenlos. Im Beispiel der Dokumentation kostete die Triage eines Skills mit 19k Tokens etwa $1.80 und die Study-Stufe etwa $14.50; Agentenläufe im Repository haben standardmäßig je $2.00, eine Matrix aus Aufgaben, Armen, Modellen und Wiederholungen braucht daher eine Batch-Grenze.
- Ist Dokimi sicher für Firmendaten?
- Läuft lokal und schickt Prompts, Skill-Texte und Dokumentation nur an die Modellanbieter, die du einstellst. Arm-Artefakte speichern den genauen Skill- oder Dokumentationstext, den der Judge gelesen hat; wer eine Ergebnisdatei teilt, teilt also diesen Inhalt.
- Was sind die besten Alternativen zu Dokimi?
- Die nächsten Alternativen, die wir getestet haben, sind promptfoo, Inspect und SkillSpector.
Antworten geprüft am 7. Nov. 2026.