Golden Dataset
Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
Auch: ground truth, test set, golden set, eval set
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ohne etwas, woran du misst, kannst du nicht sagen, ob eine Änderung an Prompt oder Modell die Dinge verbessert hat. Ein Golden Dataset ist dieser Maßstab: eine Liste echter Eingaben, jede mit einer erwarteten Ausgabe oder einer Regel dafür, wie eine gute Ausgabe aussieht. Jeder Evaluierungslauf bewertet das System anhand derselben Liste.
Was hineingehört
Gute Golden Sets stammen aus echter Nutzung: typische Anfragen, die schwierigen Fälle, die du hast scheitern sehen, und Randfälle wie leere Eingaben, falsche Sprache oder ein Versuch der Prompt Injection. Der Evaluierungsleitfaden von Anthropic sagt es klar: Vergiss die Randfälle nicht. Jeder Eintrag braucht eine Antwort, die ein Fachexperte geprüft hat. Wo es eine richtige Antwort gibt, kann Code sie per exaktem Abgleich mit der Referenzantwort bewerten. Für offene Ausgaben schreibst du einen Kriterienkatalog und bewertest mit LLM-as-a-Judge oder einem Menschen.
Ground Truth und Testsatz
Ground Truth ist das korrekte Label für einen Eintrag; das Golden Dataset ist die Sammlung. Testsatz ist der allgemeine Begriff aus dem maschinellen Lernen für zurückgehaltene Daten, die nur zum Messen dienen, nie zum Trainieren. Halte dein Golden Set aus Prompts, Few-Shot-Beispielen und Fine-Tuning-Daten heraus, sonst steigen die Werte ohne echte Verbesserung, dasselbe Problem wie bei Benchmark-Kontamination.
Damit es nützlich bleibt
Versioniere den Datensatz zusammen mit deinem Code, füge jeden neuen Fehler hinzu, den du in der Produktion findest, und überprüfe die Labels, wenn sich dein Produkt ändert. Synthetische Daten können Lücken füllen, aber lass sie von einem Menschen prüfen. Der Datensatz treibt dann LLM-Regressionstests und die umfassendere LLM-Evaluierung an.
Verwandte Begriffe
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- Regressionstests (LLM-Apps)
- Regressionstests für LLM-Apps bedeuten, nach jeder Änderung an Prompt, Modell, Retrieval-Setup oder Tool einen festen Satz von Evaluationsfällen erneut laufen zu lassen, um Fälle zu finden, die früher funktionierten und jetzt scheitern.
- LLM-as-a-Judge
- LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
- Synthetische Daten
- Synthetische Daten sind Trainings- oder Testdaten, die von Software erzeugt werden, oft von einem anderen KI-Modell, statt aus realen Quellen gesammelt zu werden. Sie dienen dazu, Lücken zu füllen, günstig Beispiele hinzuzufügen oder echte personenbezogene Daten nicht offenzulegen.