Terminal-Bench
Terminal-Bench ist ein Benchmark für KI-Agenten, die in einem Kommandozeilen-Terminal arbeiten. Jede Aufgabe gibt dem Agenten eine echte Umgebung und wird durch Tests bewertet, die prüfen, ob die Arbeit tatsächlich erledigt wurde.
Auch: Terminal-Bench 2.0, tbench
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Coding-Agenten arbeiten zunehmend über eine Shell: Pakete installieren, Dateien bearbeiten, Builds ausführen und debuggen. Terminal-Bench misst das. Betrieben wird es von einem Team, das bei Stanford und dem Laude Institute angesiedelt ist, und seine Aufgaben stammen aus echten Arbeitsabläufen statt aus Rätselfragen.
So funktioniert es
Jede Aufgabe kommt mit einer eigenen Umgebung, einer von Menschen geschriebenen Referenzlösung und Tests, die das Ergebnis prüfen. Der Agent wird mit Anweisungen in die Umgebung gesetzt und muss die Arbeit über das Terminal erledigen. Der Wert ist der Anteil der Aufgaben, die er löst. Das Paper zu Terminal-Bench 2.0 beschreibt 89 schwere Aufgaben und berichtet, dass Frontier-Modelle und -Agenten unter 65% erreichten. Das Projekt ist inzwischen bei neueren Versionen angekommen, zum Zeitpunkt des Schreibens mit Terminal-Bench 4.1 auf seiner Website.
Modell und Harness zusammen
Das Leaderboard nennt für jedes Ergebnis sowohl ein Modell als auch einen Agenten, weil dasselbe Modell in verschiedenen Agent Harnesses unterschiedlich abschneiden kann. Wenn ein Modellhersteller eine Terminal-Bench-Zahl nennt, prüfe, welches Harness und welche Version er genutzt hat. Die Site markiert ihre Daten außerdem mit einem Canary-String, der darum bittet, dass sie nie in Trainingsdaten auftauchen, um Benchmark-Kontamination zu begrenzen.
Unterschied zu SWE-bench
SWE-bench verlangt von einem Agenten, echte Issues in Open-Source-Repositories zu beheben. Terminal-Bench deckt eine breitere Spanne von Kommandozeilenarbeit ab, von der Systemeinrichtung bis zu Datenaufgaben. Beide sind nützlich bei der Wahl eines Coding-Agenten; keiner ersetzt es, den Agenten an deinen eigenen Projekten in einer sicheren Sandbox auszuprobieren.
Verwandte Begriffe
- SWE-bench
- SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
- Coding-Agent
- Ein Coding-Agent ist ein KI-Agent, der direkt an Software arbeitet: Er liest eine Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und wiederholt das, bis eine Änderung funktioniert, statt nur Code vorzuschlagen, den ein Mensch einfügt.
- Agent-Harness
- Ein Agent-Harness ist die Software rund um ein Modell, die es zu einem arbeitsfähigen Agenten macht: die Schleife, Tools, System-Prompt, Berechtigungen, Kontextverwaltung und alle Dateien, die Fortschritt zwischen Sitzungen weitertragen.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Agenten-Sandbox
- Eine Agenten-Sandbox ist eine isolierte Umgebung, etwa ein Container, eine virtuelle Maschine oder eine Beschränkung des Betriebssystems, in der ein KI-Agent Code und Befehle ausführt, damit er keine Dateien, Netzwerke oder Daten außerhalb festgelegter Grenzen erreicht.