Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Regressionstests (LLM-Apps)

Regressionstests für LLM-Apps bedeuten, nach jeder Änderung an Prompt, Modell, Retrieval-Setup oder Tool einen festen Satz von Evaluationsfällen erneut laufen zu lassen, um Fälle zu finden, die früher funktionierten und jetzt scheitern.

Auch: LLM regression testing, prompt regression testing, eval regression

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

In normaler Software ist eine Regression ein Fehler in etwas, das früher funktioniert hat. LLM-Apps regredieren leicht: Ein umformulierter Prompt repariert eine Antwort und macht drei andere kaputt, ein Anbieter aktualisiert ein Modell, oder eine neue Retrieval-Einstellung ändert, welcher Kontext ankommt. Regressionstests fangen das ab, bevor es Nutzer tun.

So funktioniert es

Beginne mit einem Golden Dataset aus echten Eingaben und erwarteten Ergebnissen. Lass nach jeder Änderung jeden Fall durch die App laufen und bewerte die Ausgaben: mit Code, wo es eine exakte Antwort gibt, mit LLM-as-a-Judge bei offenen Antworten und mit Menschen für eine Stichprobe. Vergleiche die Werte mit dem vorigen Lauf und lass den Build fehlschlagen, wenn sie sinken. Das Cookbook von OpenAI zeigt das an einer App, die Push-Benachrichtigungen zusammenfasst, und prüft, ob eine Prompt-Änderung ihr Verhalten verschlechtert. Open-Source-Tools wie promptfoo lassen dich die Fälle deklarativ schreiben und in CI ausführen.

Was es von Unit-Tests unterscheidet

Modellausgaben schwanken von Lauf zu Lauf, besonders bei höherer Temperature. Lass jeden Fall mehr als einmal laufen, verfolge Erfolgsquoten statt einzelner Ergebnisse und setze Schwellenwerte, statt exakte Übereinstimmungen zu verlangen. Fixiere Modellversionen, wo es geht, damit du weißt, ob eine Änderung von deinem Code oder vom Anbieter kam.

Im Betrieb

Offline-Tests decken bekannte Fälle ab. LLM-Observability findet die, an die du nicht gedacht hast; nimm diese Fehler in den Testsatz auf, damit sie behoben bleiben. Zusammen bilden sie die Testseite der LLM-Evaluation.

Verwandte Begriffe

LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
Golden Dataset
Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
LLM-as-a-Judge
LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
LLM-Observability
LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.
Temperature (Sampling)
Temperature (Temperatur) ist eine Sampling-Einstellung, die steuert, wie zufällig ein Sprachmodell seine Wörter wählt. Niedrige Werte lassen es die wahrscheinlichsten Tokens bevorzugen; höhere Werte verteilen die Wahl auf weniger wahrscheinliche.

Quellen