SWE-bench
SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
Auch: SWE-bench Verified, SWE-bench Lite
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ältere Coding-Tests verlangten von einem Modell, eine kurze Funktion zu schreiben. SWE-bench verlangt, was Entwickler tatsächlich tun: ein Issue lesen, die richtigen Dateien in einer großen Codebasis finden und sie ändern. Das ursprüngliche Paper sammelte 2.294 Probleme aus echten Issues und ihren Pull Requests in 12 Python-Repositories. Der Fix berührt oft mehrere Funktionen oder Dateien, daher belohnt der Benchmark Agenten, die suchen, Code ausführen und iterieren können, nicht nur Autovervollständigung.
Wie bewertet wird
Jede Aufgabe kommt mit dem Repository auf dem Stand des Commits vor dem Fix und mit den Tests, die der echte Pull Request zum Bestehen brachte. Das getestete System erzeugt einen Patch. Das Harness wendet ihn an und führt die Tests aus. Der Wert ist der Anteil gelöster Issues. Als das Paper erschien, löste das beste getestete Modell unter 2% der Issues. Wie Coding-Agenten heute abschneiden, zeigen die aktuellen Leaderboards.
SWE-bench Verified
SWE-bench Verified ist eine Teilmenge von 500 Aufgaben aus dem ursprünglichen Testsatz, die Menschen auf Qualität geprüft haben. Weitere Varianten sind Lite, Multilingual und Multimodal, die auf den offiziellen Leaderboards stehen.
Wie du einen Wert liest
Das Agenten-Gerüst zählt so viel wie das Modell: Dasselbe Modell erzielt mit anderen Tools, Prompts und Schrittgrenzen andere Werte. Prüfe, welche Variante genutzt wurde und ob das Ergebnis vom Lab selbst oder aus einem unabhängigen Lauf stammt. Weil die Issues öffentlich sind, ist Benchmark-Kontamination ein echtes Problem. mini-SWE-agent ist ein kleiner Agent, der als Teil der SWE-bench-Projektfamilie geführt wird. Für Arbeit mit viel Terminal siehe Terminal-Bench.
Verwandte Begriffe
- Coding-Agent
- Ein Coding-Agent ist ein KI-Agent, der direkt an Software arbeitet: Er liest eine Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und wiederholt das, bis eine Änderung funktioniert, statt nur Code vorzuschlagen, den ein Mensch einfügt.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- Terminal-Bench
- Terminal-Bench ist ein Benchmark für KI-Agenten, die in einem Kommandozeilen-Terminal arbeiten. Jede Aufgabe gibt dem Agenten eine echte Umgebung und wird durch Tests bewertet, die prüfen, ob die Arbeit tatsächlich erledigt wurde.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
- pass@k
- pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.