Wissensdestillation
Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.
Auch: distilled model, distillation
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Destillation ist der Weg, auf dem viele kleine Sprachmodelle gut werden. Statt nur aus Rohdaten zu lernen, lernt der Schüler aus dem, was ein stärkeres Modell tut.
So funktioniert es
Hinton, Vinyals und Dean legten die Idee 2015 dar. Sie zeigten, dass sich das Wissen eines großen Modells oder eines Ensembles von Modellen in ein einzelnes kleineres Modell komprimieren lässt, das leichter einzusetzen ist. In der klassischen Form wird der Schüler darauf trainiert, die vollständige Wahrscheinlichkeitsverteilung des Lehrers über die Antworten zu treffen, seine Soft Targets, nicht nur das einzelne richtige Label. Diese Wahrscheinlichkeiten tragen zusätzliche Information darüber, welche falschen Antworten fast richtig sind.
Bei Sprachmodellen ist eine gängige moderne Form einfacher: Der Lehrer erzeugt Antworten oder Denkpfade, und der Schüler wird darauf als synthetischen Daten feinabgestimmt.
Beispiel
Modellnamen, die „Distill“ enthalten, bedeuten meist, dass ein kleines offenes Modell auf den Ausgaben eines größeren feinabgestimmt wurde. DeepSeek berichtet etwa, die Denkmuster seines großen R1-Modells in kleinere Modelle destilliert zu haben.
Grenzen
Ein Schüler erreicht seinen Lehrer bei schweren oder ungewöhnlichen Aufgaben selten. Aus den Ausgaben eines kommerziellen Modells zu destillieren, kann zudem gegen die Nutzungsbedingungen dieses Anbieters verstoßen, prüf sie also vorher.
Verwandte Begriffe
- Small Language Model
- Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- Synthetische Daten
- Synthetische Daten sind Trainings- oder Testdaten, die von Software erzeugt werden, oft von einem anderen KI-Modell, statt aus realen Quellen gesammelt zu werden. Sie dienen dazu, Lücken zu füllen, günstig Beispiele hinzuzufügen oder echte personenbezogene Daten nicht offenzulegen.
- Supervised Fine-Tuning
- Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
- Reasoning-Modell
- Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.