Schritt 11 von 24
Harness Engineering
Bauen Sie die Dateien, Prüfungen und Schleifen rund um einen Coding-Agenten, die seine Arbeit verlässlich machen. Dasselbe Modell arbeitet besser oder schlechter, je nachdem, was es umgibt: der Kontext, den es liest, die Prüfungen, die es bestehen muss, und die Grenzen, die es nicht überschreiten kann. Die meisten Fehler, die ein Agent wiederholt, behebt man im Harness, nicht im Prompt.
Von Sheela · Geprüft am 6. Nov. 2026 · So testen wir
So triffst du die Wahl
- Halten Sie AGENTS.md oder CLAUDE.md kurz und lassen Sie sie auf die Dokumentation verweisen, statt sie hineinzukopieren.
- Lassen Sie Tests, Typprüfungen und Linter die Arbeit des Agenten beurteilen, bevor ein Mensch sie liest.
- Ein Workflow-Framework pro Projekt, passend zur Größe der Änderung; den Agenten in einer Sandbox laufen lassen und destruktive Befehle abfangen.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
Eine kurze Kontextdatei, die auf andere verweist
AGENTS.md oder CLAUDE.md wird in jede Sitzung geladen, also kostet jede Zeile in jedem Durchgang Tokens und konkurriert mit der Aufgabe um die Aufmerksamkeit des Modells. Das Harness-Team von OpenAI stellte fest, dass eine einzige große Anweisungsdatei veraltete und sich nicht automatisch prüfen ließ, und wechselte zu einer AGENTS.md von rund 100 Zeilen, die als Inhaltsverzeichnis für einen strukturierten docs/-Ordner dient. Beginnen Sie mit wenigen Regeln, die Sie begründen können (die CLAUDE.md von Karpathy hat vier), ergänzen Sie eine Zeile erst, wenn der Agent einen Fehler wiederholt, und legen Sie Details in Dateien ab, die der Agent bei Bedarf öffnet.
02
Leitplanken vor dem Handeln, Sensoren danach
Birgitta Böckelers Modell auf martinfowler.com teilt das Harness in Leitplanken (Guides), die den Agenten vor der Arbeit lenken (Kontextdateien, Skills, Spezifikationen, Language Server), und Sensoren, die das Ergebnis prüfen, damit sich der Agent selbst korrigiert (Tests, Linter, Typprüfer, Strukturtests, Reviews). Beides ist nötig: Leitplanken allein erfahren nie, ob sie gewirkt haben, und Sensoren allein fangen jedes Mal denselben Fehler ab. Ziehen Sie deterministische Sensoren, die schnell, günstig und wiederholbar sind, einem KI-Review vor, und formulieren Sie Linter-Meldungen so, dass sie dem Agenten sagen, wie er das Problem behebt.
03
Kontextkosten von Skills, Plugins und Hooks
Skills sind günstig, bis sie sich häufen. Laut der Dokumentation von Anthropic kostet jede installierte Skill beim Start etwa 100 Tokens und bis zu 5.000 weitere, wenn sie ausgelöst wird; ECC lädt bei vollständiger Installation so viele Regeln und Skills, dass sie einen großen Teil des Kontextfensters belegen, weshalb es ein Minimalprofil anbietet. In Claude Code zeigt claude plugin details, was jedes Plugin jedem Durchgang hinzufügt. Installieren Sie die kleinste Auswahl, die Ihren Arbeitsablauf abdeckt, und entfernen Sie, was Sie einen Monat lang nicht genutzt haben.
04
Ein Prozess, der zur Änderung passt
Spezifikationsgetriebene Frameworks und solche mit mehreren Rollen machen aus der Arbeit des Agenten prüfbare Dokumente und lassen sich das bezahlen. In Scott Logics Versuch kostete Spec Kit etwa 2 bis 3,5 Stunden menschliche Prüfung pro Feature; BMAD erzeugt mehrere Planungsdokumente pro Feature; Superpowers ist bei kleinen Korrekturen langsam und tokenintensiv. Die Skills von Matt Pocock liegen am anderen Ende: Nichts läuft, solange Sie es nicht aufrufen. Prüfen Sie, ob ein Werkzeug seinen Prozess für eine einzeilige Korrektur verkleinert (die Build-Skill von BMAD tut das inzwischen), und installieren Sie nur ein Workflow-Framework pro Projekt, denn Superpowers, BMAD, ECC und das Paket von Addy Osmani überschneiden sich und konkurrieren.
05
Zustand, der das Sitzungsende überdauert
Jede neue Sitzung beginnt ohne Erinnerung an die letzte. Der Beitrag von Anthropic über lang laufende Agenten beschreibt eine Lösung mit einfachen Dateien: eine Feature-Liste in JSON, in der jeder Eintrag als bestanden oder nicht markiert ist, ein Fortschrittsprotokoll, ein init.sh, das die App startet, ein Feature pro Sitzung und ein Git-Commit am Ende jeder Sitzung. Memory-Plugins automatisieren das gegen Aufpreis: claude-mem fasst jede Sitzung mit einem Modell zusammen, das Sie bezahlen, und sein lokaler Worker authentifiziert keine Anfragen; context-mode legt Werkzeugausgaben in einem lokalen Index ab und baut den Arbeitsstand nach der Kompaktierung wieder auf. Versuchen Sie zuerst die einfachen Dateien.
06
Eine Sandbox und ein Befehlswächter, nicht das eine oder das andere
Ein Agent lässt sich zu allem überreden, deshalb gehören Grenzen ins Betriebssystem, nicht in den Prompt. Anthropics Sandbox Runtime, die Engine hinter /sandbox in Claude Code, beschränkt Schreibzugriffe und Netzwerkzugang auf das, was Sie erlauben, lässt aber Schreibzugriffe im Projekt bewusst zu, sodass git reset --hard und git push --force weiterhin laufen. CC Safety Net liest jeden Shell-Befehl vor der Ausführung und blockiert genau diese, kontrolliert aber weder Dateien noch Netzwerk. Zusammen schließen sie die Lücken des jeweils anderen.
07
Versprochene Token-Einsparungen, an der eigenen Rechnung geprüft
Mehrere Werkzeuge versprechen kleineren Kontext und niedrigere Kosten. Kürzere Werkzeugausgaben sind nicht dasselbe wie eine günstigere Sitzung: Zwei unabhängige Tests von rtk fanden in ihren Hauptläufen keine Einsparung (7,6 % und 5,8 % mehr), unter anderem weil sein Hook nur Bash-Aufrufe sieht, und für das kostenlose Plugin von context-mode hat niemand einen Kostentest veröffentlicht. Messen Sie vorher und nachher mit Ihren eigenen Nutzungsprotokollen (ccusage liest sie lokal) über eine Woche normaler Arbeit, nicht an einer einzelnen Demo-Aufgabe.
08
Wer den Code ändern kann, der in Ihrem Agenten läuft
Plugins und Skill-Pakete führen Hooks und MCP-Server mit Ihren Rechten aus. Der offizielle Marketplace von Claude Code bindet jeden Eintrag an einen Commit, doch Anthropic sagt, dass ein Eintrag keine Sicherheitsprüfung ist, und Plugins aktualisieren sich standardmäßig selbst. Die README von ECC warnt, dass Mirrors Malware enthalten können, und die Standardinstallation von CC Safety Net zieht @latest. Installieren Sie aus dem Original-Repository, fixieren Sie Versionen für ein Team und lesen Sie die Hook-Skripte, bevor Sie sie aktivieren.
Wie sich die Optionen unterscheiden
Harness Engineering ist die Arbeit rund um einen Coding-Agenten statt in ihm: die Dateien, die er liest, die Prüfungen, die seine Ergebnisse bewerten, und die Schleifen, die Arbeit über Sitzungen hinweg tragen. Die Werkzeuge hier fallen in wenige Gruppen. Kontextdateien und Skill-Pakete (die CLAUDE.md von Karpathy, Anthropic Skills, die Skills von Addy Osmani und Matt Pocock) geben dem Agenten Regeln und Verfahren. Workflow-Frameworks (Superpowers, Spec Kit, BMAD, ECC) schreiben eine ganze Abfolge aus Spezifikation, Plan, Tests und Review vor und unterscheiden sich vor allem darin, wie viel Papierkram ein Mensch lesen muss. Kontext- und Memory-Werkzeuge (context-mode, rtk, claude-mem) versuchen, das Kontextfenster klein zu halten oder den Zustand zwischen Sitzungen zu bewahren. Sicherheitsschichten (Sandbox Runtime, CC Safety Net) begrenzen, was der Agent tun kann, egal was man ihm gesagt hat. Über den offiziellen Marketplace von Claude Code wird das meiste davon installiert, und Learn Harness Engineering ist ein Kurs, der die ganze Disziplin vermittelt.
Der Agent selbst (Claude Code, Codex, OpenCode) ist das innere Harness und wird in unseren Tests von Coding-Agenten behandelt. Die wichtigsten Sensoren eines äußeren Harness sind meist die, die Sie schon besitzen: Ihre Testsuite, Ihr Typprüfer, Ihr Linter und Ihre CI. Keines der Werkzeuge unten ersetzt sie, und mehrere funktionieren nur gut, wenn es sie gibt.
14 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| SuperpowersRepo | 4.7/5 | Eine Disziplinschicht, die einen Coding-Agenten wie einen sorgfältigen Junior-Engineer arbeiten lässt und ihre zusätzlichen Tokens bei allem wert ist, was größer ist als ein einzeiliger Fix. | Entwickler, die einen Agenten mehrstündige Features mit eingebautem Plan, Tests und Review umsetzen lassen wollen. | Kostenlos und Open Source (MIT). Du bezahlst die Modellnutzung des Agenten, in dem du es einsetzt. |
| Matt Pocock's SkillsRepo | 4.5/5 | Mit den Skills von Matt Pocock diskutiert der Agent den Plan mit dir aus, bevor er Code schreibt, und schon /grill-me rechtfertigt die Installation. | Engineers, die schlanke Planungs- und TDD-Gewohnheiten wollen, ohne den Prozess an ein Framework abzugeben. | Kostenlos und Open Source (MIT). Du bezahlst die Modellnutzung deines Agenten. |
| Anthropic SkillsRepo | 4.4/5 | Lies es, bevor du einen eigenen Skill schreibst, und installiere es, wenn Claude Code mit Office-Dateien und PDFs umgehen muss; halte die Dokument-Skills nur nicht für etwas, das du forken darfst. | Alle, die Skills schreiben, und Nutzer von Claude Code, die Office- und PDF-Verarbeitung brauchen. | Kostenlos. Die Beispiel-Skills stehen unter Apache-2.0; die Dokument-Skills sind Source-available, nicht Open Source. |
| Anthropic Sandbox Runtime (srt)Repo | 4.4/5 | Deinem Coding-Agenten lässt sich alles einreden; dem Betriebssystem nicht, und srt gibt dem Betriebssystem das Kommando. | Alle Entwickler, die einen Coding-Agenten auf dem eigenen Rechner laufen lassen, als erste Schutzschicht. | Kostenlos und Open Source unter Apache 2.0. |
| Spec KitRepo | 4.3/5 | Spec Kit verwandelt Agentenarbeit in prüfbare Dokumente in git und verlangt dafür pro Feature Stunden menschlicher Lektüre. | Teams, die schriftliche, prüfbare Spezifikationen wollen, bevor ein Agent Code schreibt. | Kostenlos und Open Source (MIT). |
| Agent Skills (Addy Osmani)Repo | 4.3/5 | Addy Osmanis Paket macht aus Gewohnheiten erfahrener Engineers Schranken, an denen sich ein Agent nicht vorbeireden kann, und es ist eines der seltenen Skill-Sets, die den Browser ernst nehmen. | Webentwickler, die ein strukturiertes Skill-Paket von der Spezifikation bis zum Launch wollen. | Kostenlos und Open Source (MIT). Du zahlst für die Modellnutzung deines Agenten. |
| Claude Code official plugin marketplaceRepo | 4.3/5 | Fang hier an, bevor du einen Marketplace von Dritten hinzufügst: Auf Commits festgelegte Einträge und sichtbare Kontextkosten machen ihn zur sichersten Voreinstellung, auch wenn ein Eintrag kein Sicherheitsaudit ist. | Alle Nutzer von Claude Code, als erste Anlaufstelle für Plugins. | Kostenlos. Das Katalog-Repo steht unter Apache-2.0; jedes Plugin hat eine eigene Lizenz, und viele Anbieter-Plugins brauchen ein kostenpflichtiges Konto bei diesem Anbieter. |
| Learn Harness EngineeringRepo | 4.1/5 | Ein echter Lehrplan für den unscheinbaren Teil des Programmierens mit Agenten, das Gerüst um das Modell, und stärker in der Struktur als in der Originalität. | Ingenieure, die schon Claude Code oder Codex nutzen und unbeaufsichtigte Agenten-Sitzungen strukturiert zuverlässiger machen wollen. | Kostenlos (MIT); für die Projekte brauchst du einen eigenen Coding-Agenten wie Claude Code oder Codex. |
| CC Safety NetRepo | 4.0/5 | Der Sicherheitsgurt für den Schaden, den eine Sandbox absichtlich zulässt: Force-Pushes, Hard Resets und rm -rf innerhalb deines eigenen Projekts. | Alle, die einen Coding-Agenten Shell-Befehle ausführen lassen, ohne jeden einzeln freizugeben. | Kostenlos und Open Source unter MIT. |
| BMAD MethodRepo | 3.8/5 | BMAD rechtfertigt seinen Papierkram bei Projekten mit Stakeholdern, die Dinge abzeichnen, und verlangt dafür bei allem Kleineren Stunden. | Teams in größeren Projekten, die PRDs, Architektur und Stories erzeugen und prüfen lassen wollen. | Kostenlos und Open Source (MIT). „BMad“ und „BMAD-METHOD“ sind Marken von BMad Code, LLC. |
| Everything Claude Code (ECC)Repo | 3.8/5 | ECC ist eher eine Teilekiste als ein Workflow: nützlich in einem minimalen Profil, in voller Größe eine ständige Steuer auf den Kontext. | Power-User von Claude Code, die ein großes Toolkit wollen und es auf ein minimales Profil zurechtstutzen. | Kostenlos und Open Source (MIT). Die GitHub App ECC Pro für private Repositories kostet 19 $ pro Platz und Monat; Enterprise auf Anfrage. Du bezahlst die Modellnutzung deines Agenten. |
| claude-memRepo | 3.7/5 | Echtes Gedächtnis über Sessions hinweg für Claude Code, verpackt in einen Installer, der dich zu einem gehosteten Abo lenkt, und mit einer Verdichtungsrechnung, die du im Blick behalten musst. | Entwickler an langlaufenden Projekten, die wollen, dass sich der Agent an frühere Sessions erinnert. | Open Source (Apache-2.0). Die Verdichtung läuft über deinen Anthropic-Plan oder deinen eigenen Key. Gehostete CMEM-Pläne: Pro 30 $/Monat, Heavy 70 $/Monat, Max 100 $/Monat mit Mehrverbrauch; Preise für TeamBrain nicht angekündigt. |
| context-modeRepo | 3.6/5 | Einen Versuch wert für lange Sitzungen, die nach der Kompaktierung den Faden verlieren; dass das kostenlose Plugin deine Rechnung senkt, hat noch niemand gezeigt. | Nutzer von Claude Code, deren lange Sitzungen nach der Kompaktierung den Überblick über ihre Arbeit verlieren. | Plugin kostenlos (Elastic License 2.0). Gehostetes Gateway: einmalig 1.000 kostenlose Anfragen; Starter 20 $/Monat (10.000 Anfragen); Pro 49 $/Monat (50.000 Anfragen); deinen Modellanbieter bezahlst du direkt. |
| rtk (Rust Token Killer)Repo | 3.4/5 | Es macht Shell-Ausgaben kürzer, was nicht dasselbe ist, wie Claude Code billiger zu machen, und beide unabhängigen Kostentests fanden, dass es das nicht tut. | Entwickler mit sehr geschwätziger Shell-Ausgabe, die den Effekt selbst messen. | Kostenlos (CLI unter Apache-2.0 plus Engine unter BUSL-1.1; reines Apache-Build rtk-oss verfügbar). Kommerzieller Weiterverkauf braucht eine Lizenz. Die Team-Edition RTK Pro ist kostenpflichtig, mit 7 Tagen Testzeitraum. |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 6. Nov. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Art | Was es ergänzt | Agenten | Kontext- oder Tokenkosten | Lizenz |
|---|---|---|---|---|---|
| Superpowers | Workflow-Skills-Plugin | Brainstorming, Plan, TDD, Review durch Subagenten | 16 Harnesses | Hoch; wächst mit den Aufgaben pro Plan | MIT |
| Matt Pocock's Skills | Kombinierbare Skills | /grill-me, /tdd, /code-review | Claude Code, Codex, Copilot; andere über npx | Nur bei Aufruf; Subagenten-Reviews summieren sich | MIT |
| Anthropic Skills | Referenz-Skills und Spezifikation | 19 Skills, darunter docx, pdf, skill-creator | Claude Code, claude.ai, Claude API | Etwa 100 Tokens pro Skill; bis zu 5.000 bei Nutzung | Apache 2.0; Dokument-Skills Source-available |
| Anthropic Sandbox Runtime (srt) | Sandbox auf Betriebssystemebene | Freigabelisten für Schreibzugriffe und Netzwerk | Jeder Prozess; /sandbox in Claude Code | Keine | Apache 2.0 |
| Spec Kit | Spezifikationsgetriebene CLI und Befehle | Verfassung, Spezifikation, Plan, Aufgaben, Abgleich | 41 Agenten | Agentennutzung plus 2 bis 3,5 h Prüfung pro Feature | MIT |
| Agent Skills (Addy Osmani) | Skills für den Entwicklungsablauf | 25 Skills, 9 Befehle, Nachweis-Schranken | Claude Code, Codex, über 70 per Skills-CLI | Längere Sitzungen; keine Zahlen veröffentlicht | MIT |
| Claude Code official plugin marketplace | Plugin-Marketplace | 315 Plugins, an Commits gebunden | Claude Code | Je Plugin; angezeigt von claude plugin details | Apache 2.0 |
| Learn Harness Engineering | Kurs: 14 Lektionen, 8 Projekte | Vorlagen, harness-creator-Skill, Prüfskript | Agentenunabhängig | Kostenlos; die Nutzung Ihres Agenten | MIT |
| CC Safety Net | Befehlswächter (Hook) | Blockiert destruktives Git, rm -rf, Lesen von Geheimnissen | Claude Code, Codex, Cursor und weitere | Keine | MIT |
| BMAD Method | Agiles Rollen-Framework | Briefs, PRDs, Architektur, Stories | Claude Code, Codex und andere | Hoch; mehrere Dokumente pro Feature | MIT (Namen als Marke geschützt) |
| Everything Claude Code (ECC) | Harness-Bausatz | 71 Agenten, 311 Skills, Hooks, AgentShield | Claude Code stabil; andere Beta | Hoch bei Vollinstallation; Minimalprofil | MIT |
| claude-mem | Memory-Plugin über Sitzungen hinweg | Hooks zeichnen Sitzungen auf; Abruf über MCP | Claude Code, Codex, OpenCode und andere | Komprimierungs-Tokens in jeder Sitzung | Apache 2.0 |
| context-mode | Kontext-Plugin und MCP-Server | Indizierte Werkzeugausgaben; Zustand nach Kompaktierung wiederhergestellt | 17 Plattformen | Soll senken; kostenloses Plugin ungetestet | Elastic 2.0 |
| rtk (Rust Token Killer) | Proxy für Shell-Ausgaben (Hook) | Komprimierte Ausgabe für über 100 Befehle | 18 Agenten | Zwei unabhängige Tests fanden keine Einsparung | Apache 2.0 / BUSL-1.1 |
Quellen für diesen Leitfaden
- OpenAI: Harness engineering, leveraging Codex in an agent-first world
- Birgitta Böckeler: Harness engineering for coding agent users (martinfowler.com)
- Anthropic: Effective harnesses for long-running agents
- Anthropic: Beyond permission prompts (Claude Code sandboxing)
- Agent Skills overview (Claude Platform docs)
- Putting Spec Kit through its paces (Scott Logic)
- rtk Claude Code token savings benchmark (JetBrains)