Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Schritt 11 von 24

Harness Engineering

Bauen Sie die Dateien, Prüfungen und Schleifen rund um einen Coding-Agenten, die seine Arbeit verlässlich machen. Dasselbe Modell arbeitet besser oder schlechter, je nachdem, was es umgibt: der Kontext, den es liest, die Prüfungen, die es bestehen muss, und die Grenzen, die es nicht überschreiten kann. Die meisten Fehler, die ein Agent wiederholt, behebt man im Harness, nicht im Prompt.

Von Sheela · Geprüft am 6. Nov. 2026 · So testen wir

So triffst du die Wahl

  • Halten Sie AGENTS.md oder CLAUDE.md kurz und lassen Sie sie auf die Dokumentation verweisen, statt sie hineinzukopieren.
  • Lassen Sie Tests, Typprüfungen und Linter die Arbeit des Agenten beurteilen, bevor ein Mensch sie liest.
  • Ein Workflow-Framework pro Projekt, passend zur Größe der Änderung; den Agenten in einer Sandbox laufen lassen und destruktive Befehle abfangen.

Worauf du achten solltest

Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.

  1. 01

    Eine kurze Kontextdatei, die auf andere verweist

    AGENTS.md oder CLAUDE.md wird in jede Sitzung geladen, also kostet jede Zeile in jedem Durchgang Tokens und konkurriert mit der Aufgabe um die Aufmerksamkeit des Modells. Das Harness-Team von OpenAI stellte fest, dass eine einzige große Anweisungsdatei veraltete und sich nicht automatisch prüfen ließ, und wechselte zu einer AGENTS.md von rund 100 Zeilen, die als Inhaltsverzeichnis für einen strukturierten docs/-Ordner dient. Beginnen Sie mit wenigen Regeln, die Sie begründen können (die CLAUDE.md von Karpathy hat vier), ergänzen Sie eine Zeile erst, wenn der Agent einen Fehler wiederholt, und legen Sie Details in Dateien ab, die der Agent bei Bedarf öffnet.

  2. 02

    Leitplanken vor dem Handeln, Sensoren danach

    Birgitta Böckelers Modell auf martinfowler.com teilt das Harness in Leitplanken (Guides), die den Agenten vor der Arbeit lenken (Kontextdateien, Skills, Spezifikationen, Language Server), und Sensoren, die das Ergebnis prüfen, damit sich der Agent selbst korrigiert (Tests, Linter, Typprüfer, Strukturtests, Reviews). Beides ist nötig: Leitplanken allein erfahren nie, ob sie gewirkt haben, und Sensoren allein fangen jedes Mal denselben Fehler ab. Ziehen Sie deterministische Sensoren, die schnell, günstig und wiederholbar sind, einem KI-Review vor, und formulieren Sie Linter-Meldungen so, dass sie dem Agenten sagen, wie er das Problem behebt.

  3. 03

    Kontextkosten von Skills, Plugins und Hooks

    Skills sind günstig, bis sie sich häufen. Laut der Dokumentation von Anthropic kostet jede installierte Skill beim Start etwa 100 Tokens und bis zu 5.000 weitere, wenn sie ausgelöst wird; ECC lädt bei vollständiger Installation so viele Regeln und Skills, dass sie einen großen Teil des Kontextfensters belegen, weshalb es ein Minimalprofil anbietet. In Claude Code zeigt claude plugin details, was jedes Plugin jedem Durchgang hinzufügt. Installieren Sie die kleinste Auswahl, die Ihren Arbeitsablauf abdeckt, und entfernen Sie, was Sie einen Monat lang nicht genutzt haben.

  4. 04

    Ein Prozess, der zur Änderung passt

    Spezifikationsgetriebene Frameworks und solche mit mehreren Rollen machen aus der Arbeit des Agenten prüfbare Dokumente und lassen sich das bezahlen. In Scott Logics Versuch kostete Spec Kit etwa 2 bis 3,5 Stunden menschliche Prüfung pro Feature; BMAD erzeugt mehrere Planungsdokumente pro Feature; Superpowers ist bei kleinen Korrekturen langsam und tokenintensiv. Die Skills von Matt Pocock liegen am anderen Ende: Nichts läuft, solange Sie es nicht aufrufen. Prüfen Sie, ob ein Werkzeug seinen Prozess für eine einzeilige Korrektur verkleinert (die Build-Skill von BMAD tut das inzwischen), und installieren Sie nur ein Workflow-Framework pro Projekt, denn Superpowers, BMAD, ECC und das Paket von Addy Osmani überschneiden sich und konkurrieren.

  5. 05

    Zustand, der das Sitzungsende überdauert

    Jede neue Sitzung beginnt ohne Erinnerung an die letzte. Der Beitrag von Anthropic über lang laufende Agenten beschreibt eine Lösung mit einfachen Dateien: eine Feature-Liste in JSON, in der jeder Eintrag als bestanden oder nicht markiert ist, ein Fortschrittsprotokoll, ein init.sh, das die App startet, ein Feature pro Sitzung und ein Git-Commit am Ende jeder Sitzung. Memory-Plugins automatisieren das gegen Aufpreis: claude-mem fasst jede Sitzung mit einem Modell zusammen, das Sie bezahlen, und sein lokaler Worker authentifiziert keine Anfragen; context-mode legt Werkzeugausgaben in einem lokalen Index ab und baut den Arbeitsstand nach der Kompaktierung wieder auf. Versuchen Sie zuerst die einfachen Dateien.

  6. 06

    Eine Sandbox und ein Befehlswächter, nicht das eine oder das andere

    Ein Agent lässt sich zu allem überreden, deshalb gehören Grenzen ins Betriebssystem, nicht in den Prompt. Anthropics Sandbox Runtime, die Engine hinter /sandbox in Claude Code, beschränkt Schreibzugriffe und Netzwerkzugang auf das, was Sie erlauben, lässt aber Schreibzugriffe im Projekt bewusst zu, sodass git reset --hard und git push --force weiterhin laufen. CC Safety Net liest jeden Shell-Befehl vor der Ausführung und blockiert genau diese, kontrolliert aber weder Dateien noch Netzwerk. Zusammen schließen sie die Lücken des jeweils anderen.

  7. 07

    Versprochene Token-Einsparungen, an der eigenen Rechnung geprüft

    Mehrere Werkzeuge versprechen kleineren Kontext und niedrigere Kosten. Kürzere Werkzeugausgaben sind nicht dasselbe wie eine günstigere Sitzung: Zwei unabhängige Tests von rtk fanden in ihren Hauptläufen keine Einsparung (7,6 % und 5,8 % mehr), unter anderem weil sein Hook nur Bash-Aufrufe sieht, und für das kostenlose Plugin von context-mode hat niemand einen Kostentest veröffentlicht. Messen Sie vorher und nachher mit Ihren eigenen Nutzungsprotokollen (ccusage liest sie lokal) über eine Woche normaler Arbeit, nicht an einer einzelnen Demo-Aufgabe.

  8. 08

    Wer den Code ändern kann, der in Ihrem Agenten läuft

    Plugins und Skill-Pakete führen Hooks und MCP-Server mit Ihren Rechten aus. Der offizielle Marketplace von Claude Code bindet jeden Eintrag an einen Commit, doch Anthropic sagt, dass ein Eintrag keine Sicherheitsprüfung ist, und Plugins aktualisieren sich standardmäßig selbst. Die README von ECC warnt, dass Mirrors Malware enthalten können, und die Standardinstallation von CC Safety Net zieht @latest. Installieren Sie aus dem Original-Repository, fixieren Sie Versionen für ein Team und lesen Sie die Hook-Skripte, bevor Sie sie aktivieren.

Wie sich die Optionen unterscheiden

Harness Engineering ist die Arbeit rund um einen Coding-Agenten statt in ihm: die Dateien, die er liest, die Prüfungen, die seine Ergebnisse bewerten, und die Schleifen, die Arbeit über Sitzungen hinweg tragen. Die Werkzeuge hier fallen in wenige Gruppen. Kontextdateien und Skill-Pakete (die CLAUDE.md von Karpathy, Anthropic Skills, die Skills von Addy Osmani und Matt Pocock) geben dem Agenten Regeln und Verfahren. Workflow-Frameworks (Superpowers, Spec Kit, BMAD, ECC) schreiben eine ganze Abfolge aus Spezifikation, Plan, Tests und Review vor und unterscheiden sich vor allem darin, wie viel Papierkram ein Mensch lesen muss. Kontext- und Memory-Werkzeuge (context-mode, rtk, claude-mem) versuchen, das Kontextfenster klein zu halten oder den Zustand zwischen Sitzungen zu bewahren. Sicherheitsschichten (Sandbox Runtime, CC Safety Net) begrenzen, was der Agent tun kann, egal was man ihm gesagt hat. Über den offiziellen Marketplace von Claude Code wird das meiste davon installiert, und Learn Harness Engineering ist ein Kurs, der die ganze Disziplin vermittelt.

Der Agent selbst (Claude Code, Codex, OpenCode) ist das innere Harness und wird in unseren Tests von Coding-Agenten behandelt. Die wichtigsten Sensoren eines äußeren Harness sind meist die, die Sie schon besitzen: Ihre Testsuite, Ihr Typprüfer, Ihr Linter und Ihre CI. Keines der Werkzeuge unten ersetzt sie, und mehrere funktionieren nur gut, wenn es sie gibt.

14 Tools im Vergleich

Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.

Tools für Harness Engineering im Vergleich
ToolBewertungUnser FazitIdeal fürPreis
SuperpowersRepo4.7/5Eine Disziplinschicht, die einen Coding-Agenten wie einen sorgfältigen Junior-Engineer arbeiten lässt und ihre zusätzlichen Tokens bei allem wert ist, was größer ist als ein einzeiliger Fix.Entwickler, die einen Agenten mehrstündige Features mit eingebautem Plan, Tests und Review umsetzen lassen wollen.Kostenlos und Open Source (MIT). Du bezahlst die Modellnutzung des Agenten, in dem du es einsetzt.
Matt Pocock's SkillsRepo4.5/5Mit den Skills von Matt Pocock diskutiert der Agent den Plan mit dir aus, bevor er Code schreibt, und schon /grill-me rechtfertigt die Installation.Engineers, die schlanke Planungs- und TDD-Gewohnheiten wollen, ohne den Prozess an ein Framework abzugeben.Kostenlos und Open Source (MIT). Du bezahlst die Modellnutzung deines Agenten.
Anthropic SkillsRepo4.4/5Lies es, bevor du einen eigenen Skill schreibst, und installiere es, wenn Claude Code mit Office-Dateien und PDFs umgehen muss; halte die Dokument-Skills nur nicht für etwas, das du forken darfst.Alle, die Skills schreiben, und Nutzer von Claude Code, die Office- und PDF-Verarbeitung brauchen.Kostenlos. Die Beispiel-Skills stehen unter Apache-2.0; die Dokument-Skills sind Source-available, nicht Open Source.
Anthropic Sandbox Runtime (srt)Repo4.4/5Deinem Coding-Agenten lässt sich alles einreden; dem Betriebssystem nicht, und srt gibt dem Betriebssystem das Kommando.Alle Entwickler, die einen Coding-Agenten auf dem eigenen Rechner laufen lassen, als erste Schutzschicht.Kostenlos und Open Source unter Apache 2.0.
Spec KitRepo4.3/5Spec Kit verwandelt Agentenarbeit in prüfbare Dokumente in git und verlangt dafür pro Feature Stunden menschlicher Lektüre.Teams, die schriftliche, prüfbare Spezifikationen wollen, bevor ein Agent Code schreibt.Kostenlos und Open Source (MIT).
Agent Skills (Addy Osmani)Repo4.3/5Addy Osmanis Paket macht aus Gewohnheiten erfahrener Engineers Schranken, an denen sich ein Agent nicht vorbeireden kann, und es ist eines der seltenen Skill-Sets, die den Browser ernst nehmen.Webentwickler, die ein strukturiertes Skill-Paket von der Spezifikation bis zum Launch wollen.Kostenlos und Open Source (MIT). Du zahlst für die Modellnutzung deines Agenten.
Claude Code official plugin marketplaceRepo4.3/5Fang hier an, bevor du einen Marketplace von Dritten hinzufügst: Auf Commits festgelegte Einträge und sichtbare Kontextkosten machen ihn zur sichersten Voreinstellung, auch wenn ein Eintrag kein Sicherheitsaudit ist.Alle Nutzer von Claude Code, als erste Anlaufstelle für Plugins.Kostenlos. Das Katalog-Repo steht unter Apache-2.0; jedes Plugin hat eine eigene Lizenz, und viele Anbieter-Plugins brauchen ein kostenpflichtiges Konto bei diesem Anbieter.
Learn Harness EngineeringRepo4.1/5Ein echter Lehrplan für den unscheinbaren Teil des Programmierens mit Agenten, das Gerüst um das Modell, und stärker in der Struktur als in der Originalität.Ingenieure, die schon Claude Code oder Codex nutzen und unbeaufsichtigte Agenten-Sitzungen strukturiert zuverlässiger machen wollen.Kostenlos (MIT); für die Projekte brauchst du einen eigenen Coding-Agenten wie Claude Code oder Codex.
CC Safety NetRepo4.0/5Der Sicherheitsgurt für den Schaden, den eine Sandbox absichtlich zulässt: Force-Pushes, Hard Resets und rm -rf innerhalb deines eigenen Projekts.Alle, die einen Coding-Agenten Shell-Befehle ausführen lassen, ohne jeden einzeln freizugeben.Kostenlos und Open Source unter MIT.
BMAD MethodRepo3.8/5BMAD rechtfertigt seinen Papierkram bei Projekten mit Stakeholdern, die Dinge abzeichnen, und verlangt dafür bei allem Kleineren Stunden.Teams in größeren Projekten, die PRDs, Architektur und Stories erzeugen und prüfen lassen wollen.Kostenlos und Open Source (MIT). „BMad“ und „BMAD-METHOD“ sind Marken von BMad Code, LLC.
Everything Claude Code (ECC)Repo3.8/5ECC ist eher eine Teilekiste als ein Workflow: nützlich in einem minimalen Profil, in voller Größe eine ständige Steuer auf den Kontext.Power-User von Claude Code, die ein großes Toolkit wollen und es auf ein minimales Profil zurechtstutzen.Kostenlos und Open Source (MIT). Die GitHub App ECC Pro für private Repositories kostet 19 $ pro Platz und Monat; Enterprise auf Anfrage. Du bezahlst die Modellnutzung deines Agenten.
claude-memRepo3.7/5Echtes Gedächtnis über Sessions hinweg für Claude Code, verpackt in einen Installer, der dich zu einem gehosteten Abo lenkt, und mit einer Verdichtungsrechnung, die du im Blick behalten musst.Entwickler an langlaufenden Projekten, die wollen, dass sich der Agent an frühere Sessions erinnert.Open Source (Apache-2.0). Die Verdichtung läuft über deinen Anthropic-Plan oder deinen eigenen Key. Gehostete CMEM-Pläne: Pro 30 $/Monat, Heavy 70 $/Monat, Max 100 $/Monat mit Mehrverbrauch; Preise für TeamBrain nicht angekündigt.
context-modeRepo3.6/5Einen Versuch wert für lange Sitzungen, die nach der Kompaktierung den Faden verlieren; dass das kostenlose Plugin deine Rechnung senkt, hat noch niemand gezeigt.Nutzer von Claude Code, deren lange Sitzungen nach der Kompaktierung den Überblick über ihre Arbeit verlieren.Plugin kostenlos (Elastic License 2.0). Gehostetes Gateway: einmalig 1.000 kostenlose Anfragen; Starter 20 $/Monat (10.000 Anfragen); Pro 49 $/Monat (50.000 Anfragen); deinen Modellanbieter bezahlst du direkt.
rtk (Rust Token Killer)Repo3.4/5Es macht Shell-Ausgaben kürzer, was nicht dasselbe ist, wie Claude Code billiger zu machen, und beide unabhängigen Kostentests fanden, dass es das nicht tut.Entwickler mit sehr geschwätziger Shell-Ausgabe, die den Effekt selbst messen.Kostenlos (CLI unter Apache-2.0 plus Engine unter BUSL-1.1; reines Apache-Build rtk-oss verfügbar). Kommerzieller Weiterverkauf braucht eine Lizenz. Die Team-Edition RTK Pro ist kostenpflichtig, mit 7 Tagen Testzeitraum.

Im direkten Vergleich

Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 6. Nov. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.

Harness Engineering: Spezifikationen im Vergleich
ToolArtWas es ergänztAgentenKontext- oder TokenkostenLizenz
SuperpowersWorkflow-Skills-PluginBrainstorming, Plan, TDD, Review durch Subagenten16 HarnessesHoch; wächst mit den Aufgaben pro PlanMIT
Matt Pocock's SkillsKombinierbare Skills/grill-me, /tdd, /code-reviewClaude Code, Codex, Copilot; andere über npxNur bei Aufruf; Subagenten-Reviews summieren sichMIT
Anthropic SkillsReferenz-Skills und Spezifikation19 Skills, darunter docx, pdf, skill-creatorClaude Code, claude.ai, Claude APIEtwa 100 Tokens pro Skill; bis zu 5.000 bei NutzungApache 2.0; Dokument-Skills Source-available
Anthropic Sandbox Runtime (srt)Sandbox auf BetriebssystemebeneFreigabelisten für Schreibzugriffe und NetzwerkJeder Prozess; /sandbox in Claude CodeKeineApache 2.0
Spec KitSpezifikationsgetriebene CLI und BefehleVerfassung, Spezifikation, Plan, Aufgaben, Abgleich41 AgentenAgentennutzung plus 2 bis 3,5 h Prüfung pro FeatureMIT
Agent Skills (Addy Osmani)Skills für den Entwicklungsablauf25 Skills, 9 Befehle, Nachweis-SchrankenClaude Code, Codex, über 70 per Skills-CLILängere Sitzungen; keine Zahlen veröffentlichtMIT
Claude Code official plugin marketplacePlugin-Marketplace315 Plugins, an Commits gebundenClaude CodeJe Plugin; angezeigt von claude plugin detailsApache 2.0
Learn Harness EngineeringKurs: 14 Lektionen, 8 ProjekteVorlagen, harness-creator-Skill, PrüfskriptAgentenunabhängigKostenlos; die Nutzung Ihres AgentenMIT
CC Safety NetBefehlswächter (Hook)Blockiert destruktives Git, rm -rf, Lesen von GeheimnissenClaude Code, Codex, Cursor und weitereKeineMIT
BMAD MethodAgiles Rollen-FrameworkBriefs, PRDs, Architektur, StoriesClaude Code, Codex und andereHoch; mehrere Dokumente pro FeatureMIT (Namen als Marke geschützt)
Everything Claude Code (ECC)Harness-Bausatz71 Agenten, 311 Skills, Hooks, AgentShieldClaude Code stabil; andere BetaHoch bei Vollinstallation; MinimalprofilMIT
claude-memMemory-Plugin über Sitzungen hinwegHooks zeichnen Sitzungen auf; Abruf über MCPClaude Code, Codex, OpenCode und andereKomprimierungs-Tokens in jeder SitzungApache 2.0
context-modeKontext-Plugin und MCP-ServerIndizierte Werkzeugausgaben; Zustand nach Kompaktierung wiederhergestellt17 PlattformenSoll senken; kostenloses Plugin ungetestetElastic 2.0
rtk (Rust Token Killer)Proxy für Shell-Ausgaben (Hook)Komprimierte Ausgabe für über 100 Befehle18 AgentenZwei unabhängige Tests fanden keine EinsparungApache 2.0 / BUSL-1.1

Quellen für diesen Leitfaden