Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

SWE-bench

SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.

Auch: SWE-bench Verified, SWE-bench Lite

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ältere Coding-Tests verlangten von einem Modell, eine kurze Funktion zu schreiben. SWE-bench verlangt, was Entwickler tatsächlich tun: ein Issue lesen, die richtigen Dateien in einer großen Codebasis finden und sie ändern. Das ursprüngliche Paper sammelte 2.294 Probleme aus echten Issues und ihren Pull Requests in 12 Python-Repositories. Der Fix berührt oft mehrere Funktionen oder Dateien, daher belohnt der Benchmark Agenten, die suchen, Code ausführen und iterieren können, nicht nur Autovervollständigung.

Wie bewertet wird

Jede Aufgabe kommt mit dem Repository auf dem Stand des Commits vor dem Fix und mit den Tests, die der echte Pull Request zum Bestehen brachte. Das getestete System erzeugt einen Patch. Das Harness wendet ihn an und führt die Tests aus. Der Wert ist der Anteil gelöster Issues. Als das Paper erschien, löste das beste getestete Modell unter 2% der Issues. Wie Coding-Agenten heute abschneiden, zeigen die aktuellen Leaderboards.

SWE-bench Verified

SWE-bench Verified ist eine Teilmenge von 500 Aufgaben aus dem ursprünglichen Testsatz, die Menschen auf Qualität geprüft haben. Weitere Varianten sind Lite, Multilingual und Multimodal, die auf den offiziellen Leaderboards stehen.

Wie du einen Wert liest

Das Agenten-Gerüst zählt so viel wie das Modell: Dasselbe Modell erzielt mit anderen Tools, Prompts und Schrittgrenzen andere Werte. Prüfe, welche Variante genutzt wurde und ob das Ergebnis vom Lab selbst oder aus einem unabhängigen Lauf stammt. Weil die Issues öffentlich sind, ist Benchmark-Kontamination ein echtes Problem. mini-SWE-agent ist ein kleiner Agent, der als Teil der SWE-bench-Projektfamilie geführt wird. Für Arbeit mit viel Terminal siehe Terminal-Bench.

Verwandte Begriffe

Coding-Agent
Ein Coding-Agent ist ein KI-Agent, der direkt an Software arbeitet: Er liest eine Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und wiederholt das, bis eine Änderung funktioniert, statt nur Code vorzuschlagen, den ein Mensch einfügt.
KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Terminal-Bench
Terminal-Bench ist ein Benchmark für KI-Agenten, die in einem Kommandozeilen-Terminal arbeiten. Jede Aufgabe gibt dem Agenten eine echte Umgebung und wird durch Tests bewertet, die prüfen, ob die Arbeit tatsächlich erledigt wurde.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
pass@k
pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.

Quellen