Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LoRA

LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.

Auch: low-rank adaptation, QLoRA

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Volles Fine-Tuning aktualisiert jedes Gewicht eines Modells und braucht Speicher für die Gewichte, ihre Gradienten und den Zustand des Optimierers. LoRA, 2021 von Hu et al. vorgestellt, lässt die Basisgewichte unangetastet. Für ausgewählte Gewichtsmatrizen lernt es zwei schmale Matrizen, deren Produkt ein Update mit niedrigem Rang ist, und addiert dieses Update zum eingefrorenen Gewicht. Nur die schmalen Matrizen werden trainiert.

Warum Entwickler es nutzen

Der trainierte Teil, Adapter genannt, ist klein. Du kannst ein Basismodell und viele Adapter behalten, einen pro Kunde oder Aufgabe, und sie beim Laden austauschen. Das Paper berichtet, dass LoRA im Vergleich zum vollen Fine-Tuning von GPT-3 175B mit Adam die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicher um das 3-Fache reduzierte. Weil sich das Update wieder in die Gewichte einrechnen lässt, läuft ein zusammengeführtes LoRA-Modell genauso schnell wie das Original.

QLoRA

QLoRA (Dettmers et al., 2023) verbindet LoRA mit Quantisierung. Das Basismodell wird eingefroren in 4-Bit-Form gespeichert, und die Gradienten fließen durch es hindurch in LoRA-Adapter, die in höherer Präzision vorliegen. Die Autoren berichten, auf diese Weise ein Modell mit 65B Parametern auf einer einzigen 48GB-GPU feinjustiert zu haben. Es ist der übliche Weg, große Open-Weight-Modelle auf einer Karte zu tunen.

Grenzen

LoRA begrenzt, wie stark sich das Modell ändern kann, sodass sehr große Verhaltensänderungen oder eine neue Sprache weiterhin volles Fine-Tuning brauchen können. Der Rang und die Frage, welche Schichten Adapter bekommen, sind Einstellungen, die du abstimmen musst. LoRA ist eine von mehreren Methoden des parametereffizienten Fine-Tunings; Tools wie Unsloth und Axolotl unterstützen es.

Verwandte Begriffe

Fine-Tuning
Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
Parametereffizientes Fine-Tuning
Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.
Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.

Quellen