Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Fine-Tuning

Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.

Auch: finetuning

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Ein vortrainiertes Modell hat aus einem sehr großen Korpus allgemeine Sprache gelernt. Fine-Tuning nimmt diese Gewichte und trainiert sie auf Beispielen weiter, die du auswählst: Support-Tickets, beantwortet so, wie dein Team sie beantwortet, Code in deinem Hausstil oder medizinische Notizen in einem festen Format. Die Trainingsschleife ist dieselbe wie beim Pretraining; der Unterschied ist, dass du mit einem funktionierenden Modell statt mit zufälligen Gewichten beginnst, du brauchst also weit weniger Daten und Rechenleistung.

Arten von Fine-Tuning

Supervised Fine-Tuning trainiert auf Paaren aus Eingabe und gewünschter Ausgabe. Präferenz-Tuning wie RLHF oder DPO trainiert darauf, welche von zwei Antworten Menschen bevorzugt haben. Volles Fine-Tuning aktualisiert jedes Gewicht; parametereffiziente Methoden wie LoRA trainieren einen kleinen Zusatz und lassen das Basismodell eingefroren, was Speicher spart und dir erlaubt, viele Adapter für ein Basismodell zu behalten.

Wann es sich lohnt

Fine-Tuning ist gut darin, Verhalten beizubringen: ein einheitliches Ausgabeformat, eine eng umrissene Klassifizierungsaufgabe, eine Hausstimme oder ein kleines Modell, das eine Aufgabe so gut erledigt wie ein größeres. Es ist ein schlechter Weg, Fakten hinzuzufügen, die sich oft ändern, weil das Wissen zum Trainingszeitpunkt eingefroren und schwer zu prüfen ist. Dafür ist Retrieval-Augmented Generation meist der bessere erste Schritt, und viele Teams versuchen es vor beidem mit sorgfältigem Prompting.

Grenzen

Du brauchst saubere, repräsentative Beispiele, einen vom Training zurückgehaltenen Evaluierungssatz und einen Plan, neu zu trainieren, wenn das Basismodell aktualisiert wird. Ein Modell kann auch allgemeine Fähigkeiten verlernen, wenn es zu stark auf einem engen Datensatz trainiert wird. Der Leitfaden zur Fine-Tuning-Stufe listet Tools wie Unsloth und Axolotl auf.

Verwandte Begriffe

LoRA
LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.
Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Direct Preference Optimization
Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
Pretraining
Pretraining (Vortraining) ist die erste und größte Phase im Training eines Modells, in der es allgemeine Muster aus einem sehr großen, nicht gelabelten Datensatz lernt, meist durch Vorhersage des nächsten Tokens, noch vor jeder aufgabenspezifischen Anpassung.
Parametereffizientes Fine-Tuning
Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.

Quellen