Schritt 15 von 22
Fine-Tuning
Ein offenes Modell an deine Daten, deinen Ton oder deine Aufgabe anpassen. Fine-Tuning korrigiert Stil und eng umrissene Fähigkeiten günstig. Um Fakten hinzuzufügen, taugt es wenig; das ist Aufgabe des Retrievals.
Von Andrew Miller · Geprüft am 19. Okt. 2026 · So testen wir
So triffst du die Wahl
- Eine GPU und ein kleines Budget: LoRA-Tools, die auf Effizienz ausgelegt sind.
- Wiederholbares Training auf mehreren GPUs: konfigurationsgesteuerte Frameworks.
- Bildstile und Figuren: LoRA-Trainer für Diffusionsmodelle.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
Zuerst LoRA oder QLoRA, volles Fine-Tuning nur mit Grund
LoRA trainiert kleine Adapter-Gewichte auf einem eingefrorenen Modell; QLoRA tut dasselbe auf einem in 4 Bit geladenen Modell und passt deshalb in weit weniger Speicher. Volles Fine-Tuning aktualisiert jedes Gewicht und lohnt sich nur, wenn sich das Verhalten des Modells weit verschieben muss. Probier zuerst LoRA: Es ist günstiger, schneller zu iterieren, und der Adapter lässt sich beim Serving ein- und austauschen. Verwaltete Dienste wie Together AI machen LoRA aus demselben Grund zum Standard.
02
GPU-Speicher, berechnet, bevor du mietest
Der Speicher entscheidet, welche GPU du brauchst und wie viele. Die veröffentlichten Schätzungen von LlamaFactory für ein Modell mit 7B sind eine nützliche Faustregel: etwa 120 GB für volles Fine-Tuning in Mixed Precision, 60 GB in reinem bf16, 16 GB für LoRA und 6 GB für QLoRA in 4 Bit. Skaliere grob mit der Parameterzahl und plane Reserve für lange Sequenzen ein. Angaben von Anbietern zu Geschwindigkeit und VRAM, etwa Unsloths 2x schneller mit 70% weniger Speicher, behandelst du am besten als Obergrenzen, die je nach Modell schwanken.
03
Die Trainingsmethoden, die du tatsächlich brauchst
SFT (überwachtes Fine-Tuning auf Beispielantworten) deckt die meiste Arbeit an Stil und Format ab. Präferenzmethoden wie DPO, KTO und ORPO bringen dem Modell bei, welche von zwei Antworten besser ist. RL-Methoden wie GRPO belohnen richtige Antworten bei überprüfbaren Aufgaben wie Mathematik oder Code. Prüfe, ob das Tool die Methode unterstützt, die du jetzt brauchst, und die, die du wahrscheinlich als Nächstes brauchst: LlamaFactory zum Beispiel schickt GRPO-Nutzer zu einem separaten Projekt, während TRL, Axolotl und Unsloth es direkt unterstützen.
04
Eine GPU oder viele
Effizienz auf einer GPU und Skalierung auf viele GPUs sind verschiedene Probleme. Unsloth ist darauf gebaut, einen Lauf auf eine einzige Karte zu quetschen. Axolotl behandelt FSDP2, DeepSpeed, mehrere Knoten und Sequenzparallelität als vollwertige Funktionen, was zählt, sobald ein Modell oder ein Kontext nicht mehr auf eine GPU passt. TRL erbt DDP, DeepSpeed und FSDP von Accelerate. Wenn du erwartest, über eine GPU hinauszuwachsen, wähle ein Tool, dessen verteilter Weg dokumentiert ist und kein nachträglicher Einfall.
05
Konfiguration, Code oder Oberfläche
Tools, die über YAML gesteuert werden (Axolotl, LlamaFactory), machen Läufe reproduzierbar und leicht zu teilen; viele Modellkarten veröffentlichen die genaue Axolotl-Konfiguration. Bibliotheken (TRL, Transformers) geben volle Kontrolle über die Trainingsschleife für Forschung oder ungewöhnliche Pipelines, zum Preis von mehr Code. Oberflächen (LlamaBoard von LlamaFactory, Unsloth Studio, AI Toolkit) senken die Hürde für Experimente. Wähle danach, wer den Job in sechs Monaten erneut ausführen wird.
06
Modellabdeckung und wie schnell neue Modelle dazukommen
Ein Tool ist nur nützlich, wenn es das gewünschte Basismodell unterstützt, samt Chat-Template und etwaigen Vision-Teilen. Transformers bekommt neue Architekturen meist zuerst, und die Trainingstools ziehen nach; LlamaFactory führt mehr als 100 Sprach- und Vision-Language-Modelle auf. Prüfe im Changelog, wie schnell die letzten großen offenen Modelle unterstützt wurden, nicht nur die aktuelle Liste.
07
Exportweg zu deinem Serving-Stack
Das Training ist die halbe Arbeit. Prüfe, ob sich das Ergebnis zusammenführen und in dem Format exportieren lässt, das deine Inferenz-Engine lädt: Safetensors für vLLM und SGLang, GGUF für llama.cpp und Ollama. Unsloth exportiert direkt nach GGUF; verwaltete Dienste wie Together AI lassen dich die Gewichte herunterladen oder auf einem dedizierten Endpunkt betreiben. Ein Lauf, den du nicht günstig betreiben kannst, ist verschwendet.
08
Lizenz des Tools und des Basismodells
Die meisten Frameworks hier stehen unter Apache 2.0 oder MIT, aber die optionale Oberfläche Studio von Unsloth steht unter AGPL-3.0, was zählt, wenn du sie in ein Produkt einbettest. Die größere Einschränkung ist meist das Basismodell: Seine Lizenz überträgt sich auf dein Fine-Tune, einschließlich etwaiger Nutzungsbeschränkungen oder Namensregeln.
Wie sich die Optionen unterscheiden
Die Optionen fallen in vier Familien. Trainingsbibliotheken (TRL, Transformers) sind Python-Code, den du selbst zusammensetzt; sie bekommen neue Methoden zuerst und geben volle Kontrolle, aber Speicheroptimierung und verteiltes Setup liegen bei dir. Rezept-Frameworks (Axolotl, LlamaFactory) verpacken diese Bibliotheken in YAML-Konfigurationen oder eine Weboberfläche, sodass ein Lauf eine Datei und ein Befehl ist; Axolotl neigt zur Skalierung auf mehrere GPUs, LlamaFactory zur Breite an Modellen und einer Oberfläche ohne Code. Tools mit Fokus auf Effizienz (Unsloth) schreiben GPU-Kernel neu, um größere Modelle auf eine Karte zu bringen.
Zwei Sonderfälle vervollständigen das Bild. AI Toolkit trainiert LoRAs für Diffusionsmodelle für Bild und Video, eine andere Aufgabe als das Abstimmen eines Sprachmodells. Verwaltete Fine-Tuning-APIs wie die von Together AI nehmen dir die GPUs ganz ab: Du lädst Daten hoch, zahlst pro Trainings-Token und bekommst einen Endpunkt oder herunterladbare Gewichte, zum Preis von weniger Methoden (GRPO etwa liegt außerhalb des verwalteten Dienstes) und weniger Kontrolle.
8 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| Hugging Face TransformersRepo | 4.8/5 | Fast jedes Werkzeug für offene Modelle liest seinen Modellcode aus Transformers. Das macht die Bibliothek unverzichtbar zu kennen, aber selten zu dem, womit du tatsächlich servierst. | Python-Entwickler und Forscher, die auf jedem Niveau mit offenen Modellen arbeiten. | Kostenlos und Open Source unter der Apache-2.0-Lizenz. Hugging Face verkauft Hub-Pläne und gehostete Inferenz separat. |
| UnslothRepo | 4.6/5 | Unsloth macht aus einer einzelnen 24-GB-Karte einen ernstzunehmenden Fine-Tuning-Rechner und ist ab dem zweiten Server nicht mehr die naheliegende Wahl. | Einzelpersonen und kleine Teams, die offene Modelle auf begrenzter GPU-Hardware feintunen. | Kostenlos. Kernbibliothek unter Apache 2.0, Studio-Oberfläche unter AGPL-3.0. Für Training über mehrere GPUs und Knoten gibt es bezahlte Pro- und Enterprise-Stufen; die Preise sind nicht veröffentlicht. |
| TRLRepo | 4.5/5 | TRL ist der Post-Training-Code, den freundlichere Fine-Tuning-Werkzeuge einpacken; greif direkt darauf zu, wenn du die Trainingsschleife selbst ändern musst. | ML-Engineers und Forscher, die eigene Post-Training-Pipelines bauen. | Kostenlos und Open Source unter der Apache-2.0-Lizenz. |
| Together AITool | 4.5/5 | Together betreibt offene Modelle in jeder Phase auf einer Rechnung, von 15 $ API-Guthaben bis zu einem reservierten H100-Cluster, und seine dedizierte Hardware kostet weniger, als die spezialisierten Hoster verlangen. | Teams, die auf offenen Modellen aufbauen und bei einem Anbieter von API-Aufrufen zu Fine-Tuning und eigenen GPUs übergehen wollen. | Vorausbezahlt, erster Kauf mindestens 15 $, keine kostenlose Testphase. Pro 1 Million Tokens, z. B. gpt-oss-120B 0,15 $ Eingabe / 0,60 $ Ausgabe, Kimi K3 3 $ / 15 $; Batch bis zu 50 % günstiger. Dedizierte Endpunkte: H100 5,49 $/Stunde, B200 8,99 $/Stunde. GPU-Cluster: H100 3,99 $/Stunde auf Abruf, 1,99 $ unterbrechbar. Fine-Tuning ab 0,34 $ pro 1 Million Tokens. |
| AxolotlRepo | 4.3/5 | Axolotl ist die Adresse für Fine-Tuning, sobald eine GPU nicht mehr reicht: eine YAML-Datei, jede Parallelisierungsstrategie und eine Lernkurve, die dazu passt. | Praktiker, die wiederholbare Fine-Tunes durchführen, besonders über mehrere GPUs. | Kostenlos und Open Source unter der Lizenz Apache 2.0. |
| LlamaFactoryRepo | 4.3/5 | LlamaFactory macht Fine-Tuning für über 100 offene Modelle zu einem Webformular, was besser zu Experimenten passt als zu einer festgeschriebenen Produktions-Pipeline. | Leute, die viele verschiedene offene Modelle über eine grafische Oberfläche feinabstimmen wollen. | Kostenlos und Open Source unter der Apache 2.0-Lizenz. |
| RoboflowTool | 4.3/5 | Roboflow bringt ein Fabrik- oder Lagerteam schneller als alles andere von einem Ordner voller Fotos zu einem funktionierenden Erkennungsmodell, vorausgesetzt, jemand schaltet sein standardmäßiges Recht ab, deine Bilder zu nutzen. | Operations-, Fertigungs- und Produktteams, die ein eigenes Modell zur Objekterkennung oder Prüfung brauchen, ohne eine ML-Pipeline aufzubauen. | Kostenlos (10 Credits pro Monat); Core ab 39 $ pro Monat (20 Credits) bis 1.399 $ pro Monat (500 Credits), 3,90 $ bis 2,86 $ pro Credit; Enterprise individuell. Selbst gehostete Inferenz in jedem Plan kostenlos. |
| AI ToolkitRepo | 4.2/5 | Bei AI Toolkit kommt die Unterstützung für ein neues offenes Bild- oder Videomodell meist zuerst an, und es erwartet, dass du die GPU und die Geduld mitbringst. | Kreative, die LoRAs für offene Bild- und Videomodelle trainieren. | Kostenlos und Open Source unter MIT. Ostris Cloud vermietet vorkonfigurierte GPUs sekundengenau, von 0,71 $/Stunde (A40 48 GB) bis 2,99 $/Stunde (RTX PRO 6000 96 GB). |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 19. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Oberfläche | Methoden | LoRA / QLoRA / voll | Mehrere GPUs | Hardware | Lizenz |
|---|---|---|---|---|---|---|
| Hugging Face Transformers | Python-Bibliothek (Trainer) | Überwachtes Training | Voll; LoRA über PEFT | DDP, DeepSpeed, FSDP | PyTorch-Geräte | Apache 2.0 |
| Unsloth | Python-Bibliothek, Studio-Oberfläche, Desktop | SFT, DPO, GRPO, GSPO, Pretraining | LoRA, QLoRA, voll, FP8 | Unterstützt (Setup in der Dokumentation) | GPUs von NVIDIA, AMD, Intel | Kern Apache 2.0; Studio AGPL-3.0 |
| TRL | Python-Bibliothek + CLI | SFT, DPO, KTO, GRPO, Reward | LoRA/QLoRA über PEFT, voll | DDP, DeepSpeed, FSDP (Accelerate) | PyTorch-GPUs, AWS Trainium | Apache 2.0 |
| Together AI | Verwaltete API | SFT, DPO (GRPO über separates Produkt) | LoRA (Standard), voll | Verwaltet | GPUs von Together | Kostenpflichtig, pro Trainings-Token |
| Axolotl | YAML-Konfiguration + CLI | SFT, DPO, KTO, ORPO, GRPO, Reward | LoRA, QLoRA, voll, QAT | FSDP2, DeepSpeed, mehrere Knoten | NVIDIA (Ampere+), AMD | Apache 2.0 |
| LlamaFactory | Weboberfläche + YAML-CLI | SFT, RM, PPO, DPO, KTO, ORPO, SimPO | LoRA, QLoRA mit 2–8 Bit, Freeze, voll | DeepSpeed, FSDP, Megatron | NVIDIA, AMD, Ascend NPU | Apache 2.0 |
| AI Toolkit | YAML-Konfiguration + Weboberfläche | LoRA-Training für Diffusionsmodelle | LoRA (Bild- und Videomodelle) | Nicht veröffentlicht | Meist High-End-GPU | MIT |
Wo diese Stufe hingehört
- Pipeline für Bildgenerierung: Wir würden mit AI Toolkit anfangen.
- Dein eigenes feinabgestimmtes Modell: Wir würden mit Unsloth, Axolotl anfangen.