Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Supervised Fine-Tuning

Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.

Auch: SFT, instruction tuning

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ein Basismodell frisch aus dem Pretraining sagt das nächste Token von Internettext voraus. Es beantwortet Fragen nicht verlässlich und hält kein Format ein. Supervised Fine-Tuning behebt das, indem es dem Modell viele Demonstrationen zeigt: einen Prompt und genau die Antwort, die ein Mensch haben möchte. Das Modell wird darauf trainiert, diese Antworten nachzubilden.

Wie es in die Trainings-Pipeline passt

Im Rezept von InstructGPT, dem die meisten Chat-Modelle folgen, kommt SFT zuerst. Annotatoren schrieben Demonstrationen des gewünschten Verhaltens, und das Modell wurde darauf feinjustiert. Erst dann kam RLHF: Menschen ordneten Modellausgaben, ein Reward Model lernte aus diesen Rangfolgen, und Reinforcement Learning stimmte das SFT-Modell weiter ab. Neuere Pipelines ersetzen RLHF oft durch DPO, aber SFT bleibt der Ausgangspunkt. Das Ergebnis ist ein Instruct-Modell.

Für Entwickler

Wenn du ein offenes Modell auf deinen eigenen Daten feinjustierst, machst du fast immer SFT. Die Daten sind eine Datei mit Eingabe-Ausgabe-Paaren, oft im Chat-Format. Qualität zählt mehr als Menge: Ein paar tausend saubere, einheitliche Beispiele schlagen meist einen großen, verrauschten Satz. Bibliotheken wie TRL bieten einen SFT-Trainer, und SFT wird oft mit einer parametereffizienten Methode wie LoRA kombiniert.

Grenzen

SFT bringt dem Modell bei, nachzuahmen. Es kann nicht leicht ausdrücken, „diese Antwort ist besser als jene“, und genau das fügen Präferenzmethoden hinzu. Es kann ein Modell außerdem dazu bringen, Fehler oder Lücken in den Trainingsbeispielen selbstsicher zu übernehmen.

Verwandte Begriffe

Fine-Tuning
Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
Instruct-Modell
Ein Instruct-Modell ist ein Basis-Sprachmodell, das zusätzlich auf Anweisungen mit guten Antworten und oft auf menschlichem Feedback trainiert wurde, sodass es Anfragen befolgt, statt nur Text fortzusetzen.
RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Direct Preference Optimization
Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
Parametereffizientes Fine-Tuning
Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.
Basismodell
Ein Basismodell (Base Model) ist ein Sprachmodell direkt aus dem Pretraining, vor Instruction Tuning oder Training mit menschlichem Feedback. Es setzt jeden Text fort, den es bekommt, statt Anweisungen zu befolgen oder ein Gespräch zu führen.

Quellen