Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
Auch: SFT, instruction tuning
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Basismodell frisch aus dem Pretraining sagt das nächste Token von Internettext voraus. Es beantwortet Fragen nicht verlässlich und hält kein Format ein. Supervised Fine-Tuning behebt das, indem es dem Modell viele Demonstrationen zeigt: einen Prompt und genau die Antwort, die ein Mensch haben möchte. Das Modell wird darauf trainiert, diese Antworten nachzubilden.
Wie es in die Trainings-Pipeline passt
Im Rezept von InstructGPT, dem die meisten Chat-Modelle folgen, kommt SFT zuerst. Annotatoren schrieben Demonstrationen des gewünschten Verhaltens, und das Modell wurde darauf feinjustiert. Erst dann kam RLHF: Menschen ordneten Modellausgaben, ein Reward Model lernte aus diesen Rangfolgen, und Reinforcement Learning stimmte das SFT-Modell weiter ab. Neuere Pipelines ersetzen RLHF oft durch DPO, aber SFT bleibt der Ausgangspunkt. Das Ergebnis ist ein Instruct-Modell.
Für Entwickler
Wenn du ein offenes Modell auf deinen eigenen Daten feinjustierst, machst du fast immer SFT. Die Daten sind eine Datei mit Eingabe-Ausgabe-Paaren, oft im Chat-Format. Qualität zählt mehr als Menge: Ein paar tausend saubere, einheitliche Beispiele schlagen meist einen großen, verrauschten Satz. Bibliotheken wie TRL bieten einen SFT-Trainer, und SFT wird oft mit einer parametereffizienten Methode wie LoRA kombiniert.
Grenzen
SFT bringt dem Modell bei, nachzuahmen. Es kann nicht leicht ausdrücken, „diese Antwort ist besser als jene“, und genau das fügen Präferenzmethoden hinzu. Es kann ein Modell außerdem dazu bringen, Fehler oder Lücken in den Trainingsbeispielen selbstsicher zu übernehmen.
Verwandte Begriffe
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- Instruct-Modell
- Ein Instruct-Modell ist ein Basis-Sprachmodell, das zusätzlich auf Anweisungen mit guten Antworten und oft auf menschlichem Feedback trainiert wurde, sodass es Anfragen befolgt, statt nur Text fortzusetzen.
- RLHF
- RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
- Direct Preference Optimization
- Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
- Parametereffizientes Fine-Tuning
- Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.
- Basismodell
- Ein Basismodell (Base Model) ist ein Sprachmodell direkt aus dem Pretraining, vor Instruction Tuning oder Training mit menschlichem Feedback. Es setzt jeden Text fort, den es bekommt, statt Anweisungen zu befolgen oder ein Gespräch zu führen.