Was ist Axolotl?
Axolotl ist ein Open-Source-Framework für das Post-Training von LLMs, gesteuert über eine einzige YAML-Datei: Du legst Basismodell, Datensatzformat und Methode fest und führst dann `axolotl train` aus. Dieselbe Konfiguration deckt Vorverarbeitung, Training, Evaluation, Quantisierung und Inferenz ab, und `axolotl export` erzeugt inzwischen GGUF-Dateien für llama.cpp und Ollama.
Es umfasst vollständiges Fine-Tuning, LoRA und QLoRA, quantisierungsbewusstes Training bis hinunter zu NVFP4 und MXFP4, Preference Tuning (DPO, IPO, KTO, ORPO), Reinforcement Learning (GRPO, GDPO) und Reward-Modelle, für Text-, Vision-Language- und Audiomodelle. Skaliert wird mit DeepSpeed, FSDP2 und kombinierbarer Tensor-, Kontext- und Expertenparallelität über mehrere Knoten.
Es braucht eine Nvidia-GPU (Ampere oder neuer für bf16 und Flash Attention) oder eine AMD-GPU, Python 3.12 und PyTorch 2.13 oder neuer. Version 0.21.0 erschien am 16. Oktober 2026 unter Apache 2.0.
Lohnt sich Axolotl?
Axolotls Argument beruht auf Reproduzierbarkeit im großen Maßstab. Ein Lauf ist eine YAML-Datei, die jemand anderes erneut ausführen kann, und dasselbe Format reicht von einem LoRA auf einer einzelnen Karte bis zu Training über mehrere Knoten, das FSDP2 mit Tensor-, Kontext- und Expertenparallelität kombiniert. Mit rund 12.600 GitHub-Sternen ist es weit kleiner als Unsloth (rund 78.500) oder LlamaFactory (rund 75.700), aber seine Konfigurationen tauchen auf veröffentlichten Model Cards auf, weil sie sich leicht teilen lassen.
Das Tempo bei der Modellunterstützung ist sein zweites Verkaufsargument. Allein im September und Oktober 2026 listet das README MiniCPM5, Qwen3.6 und Reflections Beam, über die CPU gestaffeltes Laden für FSDP2-QLoRA bei Modellen, die größer als der Speicher einer GPU sind, GGUF-Export und einen expertenparallelen Modus, der Mixture-of-Experts-Modelle über NVLink oder PCIe ohne DeepEP trainiert. Async GRPO, im April hinzugekommen, ist als bis zu 58% schneller pro Schritt dokumentiert.
Telemetrie ist standardmäßig an, was auf geteilten Clustern zählt. Axolotl sendet PostHog seine System- und Hardwaredaten, Laufzeitmetriken, freigegebene Modellnamen und Konfigurationen sowie bereinigte Fehler-Traces und hält den Start für 10 Sekunden an, um darauf hinzuweisen, solange du AXOLOTL_DO_NOT_TRACK=1 nicht setzt. Laut Dokumentation werden keine personenbezogenen Daten oder Dateipfade erfasst.
Der Preis ist Fachwissen. Eine lange Konfigurationsreferenz, festgelegte Versionen für Python und PyTorch und das Vokabular des verteilten Trainings werden vorausgesetzt, und eine Weboberfläche, wie LlamaFactory sie bietet, gibt es nicht; das Docker-Image beseitigt die meisten Probleme mit der Umgebung. Für ein erstes LoRA auf einer Karte sind Unsloth und LlamaFactory der sanftere Einstieg. Jenseits davon ist Axolotls Bandbreite an Parallelisierung der Grund, die Lernkurve in Kauf zu nehmen.
Wo es sich lohnt
Ein ML-Engineer bei einem Legal-Tech-Start-up, der einen Knoten mit 8 GPUs mietet
Ein großes offenes Modell mit reproduzierbaren Läufen auf Vertragsdaten feinabstimmen
Eine YAML mit QLoRA und FSDP2 schreiben, gestaffeltes Laden über die CPU nutzen, damit nicht jede GPU eine vollständige quantisierte Kopie halten muss, und die Datei neben der Version des Datensatzes committen. Axolotl ist kostenlos unter Apache 2.0; die Rechnung sind GPU-Stunden, und die Konfiguration macht erneute Läufe nach einer Datenaktualisierung zur Routine.
Eine Forscherin, die einem kleinen Modell Reasoning-Verhalten beibringt
GRPO mit einer eigenen Reward-Funktion auf einer Workstation-GPU ausführen
Von den mitgelieferten Beispielen ausgehen (axolotl fetch examples), die Methode auf GRPO umstellen und auf die Reward-Funktion verweisen; async GRPO ist als bis zu 58% schneller pro Schritt dokumentiert. Für bf16 und Flash Attention braucht es eine Nvidia-Karte ab Ampere.
Ein Produktteam in einer Firma mit 30 Leuten, das einen Assistenten auf dem Gerät ausliefert
Ein feinabgestimmtes Modell in etwas verwandeln, das in Ollama läuft
Ein LoRA trainieren, es mergen und dann mit axolotl export ein quantisiertes GGUF für llama.cpp oder Ollama schreiben, statt einer separaten Konvertierungs-Toolchain. AXOLOTL_DO_NOT_TRACK=1 setzen, wenn Konfigurationen oder Modellwahl geschäftlich sensibel sind.
Bevor du dich festlegst
- Einrichtung
- Installation über uv (den passenden PyTorch-Build, dann `uv pip install --no-build-isolation axolotl[deepspeed]`) oder das Docker-Image axolotlai/axolotl, das laut README weniger fehleranfällig ist. `axolotl fetch examples` und `axolotl train examples/llama-3/lora-1b.yml` ergeben einen ersten Lauf; ein Colab-Notebook deckt den Fall ohne eigene Hardware ab.
- Integrationen
- Modelle und Datensätze von Hugging Face; Daten aus S3, Azure, GCP und OCI; DeepSpeed und FSDP2; GGUF-Export für llama.cpp und Ollama; Plugins zum Start in der Cloud, darunter Nebius Serverless Jobs, und Templates auf RunPod, Vast.ai und Modal; mitgelieferte Dokumentation für Agenten über `axolotl agent-docs`.
- Daten und Datenschutz
- Läuft auf deiner Hardware. Abschaltbare PostHog-Telemetrie sendet System-, Hardware- und Laufzeitmetriken, freigegebene Modellnamen, Konfigurationen und bereinigte Fehler; AXOLOTL_DO_NOT_TRACK=1 schaltet sie ab. Apache 2.0 erlaubt kommerzielle Nutzung, wobei die Lizenzen der Basismodelle weiter gelten. Im Repo sind keine Sicherheitshinweise veröffentlicht.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Kosten sind GPUs. Axolotl veröffentlicht keine VRAM-Tabelle pro Modell, also dimensioniere Jobs anhand eines Probelaufs; Arbeit über mehrere Knoten wird zum GPU-Stundensatz deiner Cloud abgerechnet. Eigener Support ist nach Absprache mit den Maintainern erhältlich, zu nicht veröffentlichten Preisen.
- Grenzen
- Keine GUI; Anforderungen an Python 3.12 und PyTorch 2.13+; rund 250 offene Issues; multimodales Training ist als Beta gestartet.
Was gut ist
- Eine reproduzierbare YAML-Datei pro Lauf
- FSDP2, DeepSpeed und N-D-Parallelität über mehrere Knoten
- SFT, DPO, GRPO, QAT und Reward-Modelle
- Schnelle Unterstützung neuer Modelle; GGUF-Export
Was nicht
- Keine grafische Oberfläche
- Telemetrie standardmäßig an
- Setzt Wissen über verteiltes Training voraus
- Nur Nvidia- oder AMD-GPUs
Am besten für
Praktiker, die wiederholbare Fine-Tunes durchführen, besonders über mehrere GPUs.
Alternativen zu Axolotl
Axolotl: häufige Fragen
- Lohnt sich Axolotl?
- Axolotl ist die Adresse für Fine-Tuning, sobald eine GPU nicht mehr reicht: eine YAML-Datei, jede Parallelisierungsstrategie und eine Lernkurve, die dazu passt. Wir bewerten es mit 4.3 von 5.
- Was kostet Axolotl?
- Kostenlos und Open Source unter der Lizenz Apache 2.0.
- Welche Nachteile hat Axolotl?
- Keine grafische Oberfläche; Telemetrie standardmäßig an; Setzt Wissen über verteiltes Training voraus; Nur Nvidia- oder AMD-GPUs.
- Für wen eignet sich Axolotl?
- Praktiker, die wiederholbare Fine-Tunes durchführen, besonders über mehrere GPUs.
- Was kostet Axolotl für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Kosten sind GPUs. Axolotl veröffentlicht keine VRAM-Tabelle pro Modell, also dimensioniere Jobs anhand eines Probelaufs; Arbeit über mehrere Knoten wird zum GPU-Stundensatz deiner Cloud abgerechnet. Eigener Support ist nach Absprache mit den Maintainern erhältlich, zu nicht veröffentlichten Preisen.
- Ist Axolotl sicher für Firmendaten?
- Läuft auf deiner Hardware. Abschaltbare PostHog-Telemetrie sendet System-, Hardware- und Laufzeitmetriken, freigegebene Modellnamen, Konfigurationen und bereinigte Fehler; AXOLOTL_DO_NOT_TRACK=1 schaltet sie ab. Apache 2.0 erlaubt kommerzielle Nutzung, wobei die Lizenzen der Basismodelle weiter gelten. Im Repo sind keine Sicherheitshinweise veröffentlicht.
- Was sind die besten Alternativen zu Axolotl?
- Die nächsten Alternativen, die wir getestet haben, sind Unsloth, TRL und LlamaFactory.
Antworten geprüft am 26. Okt. 2026.