Regressionstests (LLM-Apps)
Regressionstests für LLM-Apps bedeuten, nach jeder Änderung an Prompt, Modell, Retrieval-Setup oder Tool einen festen Satz von Evaluationsfällen erneut laufen zu lassen, um Fälle zu finden, die früher funktionierten und jetzt scheitern.
Auch: LLM regression testing, prompt regression testing, eval regression
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
In normaler Software ist eine Regression ein Fehler in etwas, das früher funktioniert hat. LLM-Apps regredieren leicht: Ein umformulierter Prompt repariert eine Antwort und macht drei andere kaputt, ein Anbieter aktualisiert ein Modell, oder eine neue Retrieval-Einstellung ändert, welcher Kontext ankommt. Regressionstests fangen das ab, bevor es Nutzer tun.
So funktioniert es
Beginne mit einem Golden Dataset aus echten Eingaben und erwarteten Ergebnissen. Lass nach jeder Änderung jeden Fall durch die App laufen und bewerte die Ausgaben: mit Code, wo es eine exakte Antwort gibt, mit LLM-as-a-Judge bei offenen Antworten und mit Menschen für eine Stichprobe. Vergleiche die Werte mit dem vorigen Lauf und lass den Build fehlschlagen, wenn sie sinken. Das Cookbook von OpenAI zeigt das an einer App, die Push-Benachrichtigungen zusammenfasst, und prüft, ob eine Prompt-Änderung ihr Verhalten verschlechtert. Open-Source-Tools wie promptfoo lassen dich die Fälle deklarativ schreiben und in CI ausführen.
Was es von Unit-Tests unterscheidet
Modellausgaben schwanken von Lauf zu Lauf, besonders bei höherer Temperature. Lass jeden Fall mehr als einmal laufen, verfolge Erfolgsquoten statt einzelner Ergebnisse und setze Schwellenwerte, statt exakte Übereinstimmungen zu verlangen. Fixiere Modellversionen, wo es geht, damit du weißt, ob eine Änderung von deinem Code oder vom Anbieter kam.
Im Betrieb
Offline-Tests decken bekannte Fälle ab. LLM-Observability findet die, an die du nicht gedacht hast; nimm diese Fehler in den Testsatz auf, damit sie behoben bleiben. Zusammen bilden sie die Testseite der LLM-Evaluation.
Verwandte Begriffe
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- Golden Dataset
- Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
- LLM-as-a-Judge
- LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
- LLM-Observability
- LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.
- Temperature (Sampling)
- Temperature (Temperatur) ist eine Sampling-Einstellung, die steuert, wie zufällig ein Sprachmodell seine Wörter wählt. Niedrige Werte lassen es die wahrscheinlichsten Tokens bevorzugen; höhere Werte verteilen die Wahl auf weniger wahrscheinliche.