Was ist LlamaFactory?
LlamaFactory ist ein Fine-Tuning-Framework, das mehr als 100 Sprach- und Vision-Language-Modelle unterstützt. Du kannst das Training über eine Weboberfläche (LlamaBoard, gebaut auf Gradio) oder über die Kommandozeile mit YAML-Dateien konfigurieren und starten.
Es unterstützt LoRA, QLoRA mit 2 bis 8 Bit, Freeze- und vollständiges Fine-Tuning sowie Präferenzverfahren wie DPO, KTO, ORPO und PPO, und es läuft auf NVIDIA-GPUs, Huawei-Ascend-NPUs und, in jüngeren Commits, auf Beschleunigern von Intel XPU und Biren. Es wurde auf der ACL 2024 als Paper veröffentlicht.
Das letzte getaggte Release, v0.9.5, erschien am 30. Mai 2026 und ist noch immer die Version auf PyPI; der main-Branch ist aktiv, mit Commits bis zum 21. Oktober 2026.
Lohnt sich LlamaFactory?
LlamaFactory ist der zugänglichste Weg, eine große Bandbreite offener Modelle feinabzustimmen, ohne Trainingscode zu schreiben. In LlamaBoard wählst du Modell, Datensatz und Verfahren, beobachtest die Loss-Kurve und chattest mit dem Ergebnis, und dieselben Läufe gibt es als YAML-Dateien für llamafactory-cli. Mit rund 75.700 GitHub-Sternen liegt es in der Beliebtheit nahe bei Unsloth.
Die Tabelle mit geschätztem VRAM-Bedarf ist die nützlichste Planungsseite im README. LoRA auf einem 7B-Modell braucht etwa 16 GB und 4-Bit-QLoRA etwa 6 GB, während 4-Bit-QLoRA auf einem 70B-Modell etwa 48 GB braucht und vollständiges 16-Bit-Fine-Tuning von 7B bei 60 GB beginnt. FSDP mit QLoRA bringt ein 70B-Modell auf zwei GPUs mit je 24 GB unter, und der Projektblog beschreibt Fine-Tuning mit KTransformers von Modellen mit 1.000 Milliarden Parametern auf zwei RTX 4090 plus CPU-Speicher. Die Unterstützung für Ascend-NPUs mit fertigen Docker-Images ist ein echter Grund, es Werkzeugen vorzuziehen, die nur CUDA können.
Bei den Releases sieht es schwächer aus. v0.9.5 vom Mai ist immer noch der neueste Tag und die neueste PyPI-Version, wer also aktuelle Modellunterstützung will, installiert von main, und manche Modelle brauchen auch transformers aus dessen main-Branch. Das Changelog im englischen README endet im Oktober 2025, Doku und Code können sich also widersprechen.
Die Serving-Seite braucht Sorgfalt. Vier GitHub-Sicherheits-Advisories wurden veröffentlicht, drei davon als schwerwiegend eingestuft, darunter Remote Code Execution im Juni 2025 und SSRF mit Lesen lokaler Dateien in der Chat-API im Oktober 2025. Die Weboberfläche und die API im OpenAI-Stil gehören auf eine vertrauenswürdige Maschine, nicht ins offene Internet. Im Vergleich zu den Nachbarn jagt Unsloth Geschwindigkeit und Speichereffizienz auf einer einzelnen GPU, und Axolotl ist die übliche Wahl für reproduzierbare Läufe über mehrere Knoten; LlamaFactory setzt auf Breite hinter einer Oberfläche, und genau deshalb überfordert sein Optionsfeld Erstnutzer.
Wo es sich lohnt
Ein ML-Engineer mit einer RTX 4090 mit 24 GB
Ein Modell mit 7B bis 14B auf internen Support-Protokollen feinabstimmen
Nutze LoRA (etwa 16 GB für 7B) oder 4-Bit-QLoRA (etwa 12 GB für 14B) über LlamaBoard oder eine YAML-Datei und stelle den Adapter dann über die eingebaute API im OpenAI-Stil mit vLLM bereit. Keine Lizenzgebühr; die Kosten sind deine eigene GPU-Zeit.
Ein Universitätslabor, das auf Hardware mit Huawei Ascend 910B arbeitet
Qwen- oder GLM-Modelle ohne CUDA feinabstimmen
Ziehe die Ascend-Docker-Images (Builds für Ubuntu oder openEuler) und folge der Installationsanleitung für NPUs. Wenige Fine-Tuning-Werkzeuge dokumentieren NPU-Unterstützung so gründlich, was dem Labor das Portieren von Trainingscode erspart.
Eine Produktmanagerin bei einer Bank, die testet, ob Fine-Tuning besser abschneidet als Prompting
Mehrere offene Modelle schnell vergleichen, ohne dass ein ML-Team Code schreibt
In LlamaBoard kann ein Analyst Modelle und Verfahren über ein Formular austauschen, mit DPO und KTO für Präferenz-Tuning. Die Modellgewichte behalten ihre eigenen Lizenzen, etwa die Bedingungen von Llama oder Gemma, die die Rechtsabteilung vor der Produktion freigeben muss.
Bevor du dich festlegst
- Einrichtung
- Klonen und pip install -e . (Python 3.11 oder neuer, PyTorch 2.x, CUDA 11.6 oder neuer), oder docker run --gpus=all hiyouga/llamafactory:latest; llamafactory-cli webui öffnet dann LlamaBoard auf Port 7860.
- Integrationen
- Modelle und Datensätze von Hugging Face und ModelScope; DeepSpeed, FSDP und Megatron-core; Kernels von FlashAttention-2, Unsloth und Liger; Logging mit TensorBoard, Weights & Biases, MLflow und SwanLab; Inferenz mit vLLM oder SGLang hinter einer API im OpenAI-Stil.
- Daten und Datenschutz
- Läuft lokal; Daten verlassen den Rechner nur, wenn du einen Cloud-Logger wie Weights & Biases oder SwanLab einschaltest oder zugangsbeschränkte Datensätze von Hugging Face ziehst. Der Code steht unter Apache-2.0, aber die Gewichte jedes Modells haben ihre eigene Lizenz. Bisher vier Sicherheits-Advisories, darunter RCE.
- Kosten im großen Maßstab
- Kostenlose Software, die Rechnung ist also die Hardware. Laut den Schätzungen im README braucht 4-Bit-QLoRA auf einem 70B-Modell etwa 48 GB (eine GPU mit 80 GB) und 16-Bit-LoRA etwa 160 GB (mindestens zwei), während vollständiges reines bf16-Training von 70B rund 600 GB braucht.
- Grenzen
- Getaggte Releases hinken main um Monate hinterher; neue Modelle brauchen oft transformers aus main; 1.202 offene Issues und Pull Requests; die Fülle an Optionen macht Fehlkonfigurationen leicht.
Was gut ist
- Gradio-Weboberfläche und YAML-CLI für dieselben Läufe
- Über 100 Text- und Vision-Language-Modelle
- Veröffentlichte VRAM-Schätzungen pro Verfahren und Modellgröße
- Unterstützung für NVIDIA, Ascend-NPU und Intel XPU
Was nicht
- Letztes getaggtes Release im Mai 2026
- Frühere RCE- und SSRF-Advisories im Serving-Code
- Englische Doku hinkt dem Code hinterher
- Viele Optionen, durch die man sich arbeiten muss
Am besten für
Leute, die viele verschiedene offene Modelle über eine grafische Oberfläche feinabstimmen wollen.
Alternativen zu LlamaFactory
LlamaFactory: häufige Fragen
- Lohnt sich LlamaFactory?
- LlamaFactory macht Fine-Tuning für über 100 offene Modelle zu einem Webformular, was besser zu Experimenten passt als zu einer festgeschriebenen Produktions-Pipeline. Wir bewerten es mit 4.3 von 5.
- Was kostet LlamaFactory?
- Kostenlos und Open Source unter der Apache 2.0-Lizenz.
- Welche Nachteile hat LlamaFactory?
- Letztes getaggtes Release im Mai 2026; Frühere RCE- und SSRF-Advisories im Serving-Code; Englische Doku hinkt dem Code hinterher; Viele Optionen, durch die man sich arbeiten muss.
- Für wen eignet sich LlamaFactory?
- Leute, die viele verschiedene offene Modelle über eine grafische Oberfläche feinabstimmen wollen.
- Was kostet LlamaFactory für ein Team oder im Produktivbetrieb?
- Kostenlose Software, die Rechnung ist also die Hardware. Laut den Schätzungen im README braucht 4-Bit-QLoRA auf einem 70B-Modell etwa 48 GB (eine GPU mit 80 GB) und 16-Bit-LoRA etwa 160 GB (mindestens zwei), während vollständiges reines bf16-Training von 70B rund 600 GB braucht.
- Ist LlamaFactory sicher für Firmendaten?
- Läuft lokal; Daten verlassen den Rechner nur, wenn du einen Cloud-Logger wie Weights & Biases oder SwanLab einschaltest oder zugangsbeschränkte Datensätze von Hugging Face ziehst. Der Code steht unter Apache-2.0, aber die Gewichte jedes Modells haben ihre eigene Lizenz. Bisher vier Sicherheits-Advisories, darunter RCE.
- Was sind die besten Alternativen zu LlamaFactory?
- Die nächsten Alternativen, die wir getestet haben, sind Unsloth, Axolotl und TRL.
Antworten geprüft am 23. Okt. 2026.