Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
Auch: data contamination, test-set leakage
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Große Modelle werden auf riesigen Web-Sammlungen trainiert, und Benchmarks stehen im Web: in Papers, GitHub-Repositories, Forenbeiträgen und Blogartikeln. Testaufgaben können ohne Absicht in den Trainingsdaten landen. Ein Modell, das Antworten auswendig gelernt hat, kann dann gut abschneiden, ohne die Fähigkeit zu haben, die der Benchmark messen soll.
Warum es wichtig ist
Sainz et al. beschreiben als schlimmsten Fall ein Modell, das auf dem Test-Split eines Benchmarks trainiert und dann auf demselben Benchmark bewertet wird. Sie argumentieren, dass das Ausmaß des Problems unbekannt ist, weil es schwer zu messen ist, und dass Kontamination zu überschätzter Leistung und in der Forschung zu falschen Schlüssen führt. Für dich als Entwickler heißt das: Ein vielzitiertes Ergebnis bei einem KI-Benchmark überträgt sich womöglich nicht auf deine eigenen Aufgaben.
Anzeichen und Prüfungen
Warnzeichen sind ein Modell, das eine Testfrage aus einem Teil-Prompt Wort für Wort wiedergibt, deutlich höhere Ergebnisse bei einem alten Benchmark als bei einem neueren mit ähnlicher Schwierigkeit und ein starker Einbruch, wenn Fragen leicht umformuliert werden. Labore und Forscher durchsuchen Trainingsdaten nach überlappendem Text, vergleichen Ergebnisse bei Aufgaben, die vor und nach dem Wissensstichtag eines Modells veröffentlicht wurden, und halten private Testsätze zurück.
Wie Benchmarks reagieren
Neuere Benchmarks verbergen einen Teil ihres Testsatzes, erneuern Fragen im Lauf der Zeit oder nehmen Aufgaben aus Material, das nach den getesteten Modellen entstanden ist. Leaderboards auf Basis menschlicher Präferenzen nutzen frische Prompts von Nutzern, was feste Testsätze vermeidet, aber andere Verzerrungen mitbringt.
Die praktische Abwehr ist dieselbe wie immer: Führe deine eigene LLM-Evaluierung mit Daten durch, die das Modell nicht gesehen haben kann.
Verwandte Begriffe
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- KI-Trainingsdaten
- KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
- Wissensstichtag
- Der Wissensstichtag (Knowledge Cutoff) ist das Datum, nach dem ein Modell kaum oder keine Informationen hat, weil seine Trainingsdaten etwa bis dahin gesammelt wurden. Spätere Ereignisse sind ihm unbekannt, sofern sie nicht im Prompt stehen.
- Leaderboard (KI)
- Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.