Parametereffizientes Fine-Tuning
Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.
Auch: PEFT
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Volles Fine-Tuning aktualisiert jedes Gewicht eines Modells. Bei einem Modell mit Milliarden Parametern braucht das mehrere große GPUs, und jede feinjustierte Kopie ist so groß wie das Original. PEFT-Methoden vermeiden das, indem sie das Basismodell einfrieren und eine kleine Ergänzung trainieren.
So funktioniert es
Die bekannteste Methode ist LoRA, die kleine Matrizen mit niedrigem Rang neben bestehende Gewichtsmatrizen setzt und nur diese trainiert. Andere Familien fügen der Eingabe kurze trainierbare „Soft Prompts“ hinzu (Prompt Tuning, Prefix Tuning), setzen kleine Adapterschichten zwischen bestehende Schichten oder trainieren nur eine Teilmenge der vorhandenen Gewichte. QLoRA verbindet LoRA mit einem quantisierten Basismodell, sodass das Training für viele Modellgrößen auf eine einzige Consumer-GPU passt.
Das Ergebnis ist meist eine Datei von einigen Megabyte bis einigen hundert Megabyte, die du über das Basismodell lädst. Ein Basismodell kann viele Adapter bedienen, einen pro Kunde oder Aufgabe.
Warum es wichtig ist
PEFT ist der Grund, warum Fine-Tuning offener Modelle auf bescheidener Hardware praktikabel ist. Bibliotheken wie Hugging Face PEFT, Unsloth und LLaMA-Factory verpacken diese Methoden. Die Qualität bei einer eng umrissenen Aufgabe liegt oft nah am vollen Fine-Tuning.
Grenzen
PEFT ändert Verhalten und Stil gut, ist aber ein schwacher Weg, große Mengen neuen Wissens hinzuzufügen; dafür ist Retrieval-Augmented Generation meist besser. Ein Adapter ist an genau das Basismodell gebunden, auf dem er trainiert wurde, und funktioniert nicht mit einem anderen.
Verwandte Begriffe
- LoRA
- LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- Supervised Fine-Tuning
- Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.