Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

AirLLM

Python-Bibliothek, die sehr große offene Modelle auf einer kleinen GPU ausführt, indem sie jeweils eine Schicht von der Festplatte lädt, bei Sekunden bis Minuten pro Token.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

3.3/5

AirLLM bringt riesige Modelle tatsächlich in wenigen Gigabyte GPU-Speicher unter, aber bei Sekunden bis Minuten pro Token taugt es dazu, ein Modell einmal laufen zu lassen, nicht zum Chatten.

Was ist AirLLM?

AirLLM von Gavin Li umhüllt Hugging Face transformers so, dass immer nur eine Schicht des Modells auf der GPU liegt. Beim ersten Laden teilt es einen Checkpoint in Dateien pro Schicht auf der Festplatte auf; bei der Generierung lädt es jede Schicht, führt sie aus und verwirft sie wieder, sodass der Speicherbedarf von der Größe einer Schicht abhängt und nicht vom ganzen Modell. Bei Mixture-of-Experts-Modellen kann es nur die Experten laden, an die ein Token geleitet wird.

Das README nennt Llama, Qwen, DeepSeek, Mistral, Phi, Gemma, ChatGLM und Kimi K3 unter den unterstützten Familien, dazu optionale blockweise 4-Bit- und 8-Bit-Kompression, einen CPU-Pfad und einen auf Llama-artige Modelle beschränkten Pfad für Apple silicon. Version 4.0.0 vom September 2026 ergänzte LoRA-Fine-Tuning mit derselben Schicht-für-Schicht-Ladetechnik. Der Code steht unter Apache-2.0.

Lohnt sich AirLLM?

Die Speicherversprechen von AirLLM halten; der Preis ist die Geschwindigkeit, und die nennt das README nirgends. Die Schlagzeile lautet, 70B-Modelle liefen auf einer 4GB-GPU und Kimi K3, ein Modell mit 2.8T Parametern, in unter 4GB. Die einzige Geschwindigkeitsangabe der Maintainer stammt aus dem Kimi-K3-Release: Auf einer RTX 6000 Ada lag der VRAM-Spitzenwert bei 3.72 GB, die Vorbereitung dauerte 900 Sekunden, und die Generierung lief mit 292 Sekunden pro Token, vier Tokens in 1.168 Sekunden. Das sind fast fünf Minuten pro Token, und die Notizen nennen die Festplatte als Engpass.

Nutzerberichte im Issue-Tracker zeigen kleinere Modelle im selben Bereich. Einer maß Qwen2.5-32B mit 13.3 Sekunden pro Token auf einer NVIDIA GB10; ein anderer meldete ein 3B-Modell mit 28.6 Sekunden pro Token auf einer RTX 5060 Ti unter Windows; ein dritter wartete etwa 30 Minuten auf eine Antwort von 120 Tokens von gpt-oss-20b auf einer RTX 3090. Die Ursache ist strukturell: Jedes neue Token schickt alle Schichten erneut durch die GPU, also bestimmen Festplatte und PCIe-Bandbreite den Durchsatz, nicht die Karte. Das README verspricht außerdem, dass 4-Bit- oder 8-Bit-Kompression die Inferenz um bis zu 3x beschleunigt. Ein offenes Issue vom August 2026 maß mit Qwen2.5-32B das Gegenteil: 8-bit war 3.8-mal langsamer und 4-bit 8-mal langsamer als ohne Kompression, weil jede Schicht bei jedem Durchlauf wieder auf 16-bit entpackt wird.

Der Haken: Neben der Geschwindigkeit braucht AirLLM viel Festplattenplatz. Das Aufteilen schreibt eine zweite Kopie, daher rät das README, Platz zu schaffen oder `delete_original` zu setzen; Qwen3.8-Flash-Next braucht etwa 360GB für den Checkpoint und einen Rechner mit 64GB, und Kimi K3 ist ein Checkpoint von 1.56TB, der naiv aufgeteilt 3.12TB bräuchte. Die Modelltabelle im README nennt für Flash-Next etwa 180B Parameter, die Update-Notizen dagegen 125B. Unter macOS laufen nur Llama-artige Modelle, und das README beginnt mit Werbelinks zu fremden KI-Apps. Die Inferenz selbst läuft lokal; als Netzwerknutzung ist nur das Herunterladen von Modellen beschrieben, mit einem Hugging-Face-Token für zugangsbeschränkte Modelle.

Unser Fazit: AirLLM passt zu einmaligen Aufgaben, bei denen Warten in Ordnung ist, etwa um zu prüfen, wie ein 70B- oder 671B-Modell auf eine Handvoll Testfragen antwortet, bevor du GPUs dafür mietest, oder um über Nacht ein LoRA auf einer Gaming-Karte zu trainieren. Für alles Interaktive dient dir ein quantisiertes Modell, das über llama.cpp oder Ollama in den Speicher passt, weit besser.

Wo es sich lohnt

  • Ein Doktorand mit einer einzelnen RTX 3090

    Vergleichen, wie ein 70B- und ein 671B-Modell 20 Evaluationsfragen beantworten, bevor er Clusterzeit beantragt

    Lade beide mit `AutoModel.from_pretrained` und lass die Prompts als nächtlichen Batch-Job laufen; das README gibt für DeepSeek-V3 etwa 12GB VRAM an. Plane Platz für die aufgeteilte Kopie ein und rechne mit Sekunden bis Minuten pro Token.

  • Eine ML-Ingenieurin in einem kleinen Start-up

    Einen LoRA-Adapter für ein 27B-Modell feintunen, ohne eine GPU zu mieten

    Version 4.0.0 streamt die eingefrorenen Gewichte von der Festplatte und hält nur die Adapter auf der GPU; laut Release-Notizen braucht Qwen3.8-27B bei einer Sequenzlänge von 512 etwa 2GB. Starte `train_qwen38_lora.py` mit einer JSONL-Datei und lass es laufen.

  • Ein Bastler mit einem Mac mit Apple silicon

    Ein Modell der Llama-Familie ausprobieren, das größer ist als der Speicher des Macs

    Installiere mlx und torch und nutze dieselbe API; unter macOS laufen nur die Architekturen `LlamaForCausalLM` und `MistralForCausalLM`. Ein Nutzer maß TinyLlama-1.1B auf einem M1 Pro mit etwa 3 Sekunden pro Token, also halte die Prompts kurz.

Bevor du dich festlegst

Einrichtung
`pip install airllm`, dann `AutoModel.from_pretrained(<Hugging Face ID>)`. Der erste Lauf lädt den Checkpoint herunter und teilt ihn Schicht für Schicht auf, wofür noch einmal etwa gleich viel freier Platz nötig ist. Manche Modelle brauchen eine bestimmte transformers-Version oder flash-attn.
Integrationen
Hugging Face transformers und Hub; bitsandbytes für optionale Kompression; mlx unter macOS. Das README beschreibt keinen Server und keinen OpenAI-kompatiblen Endpunkt.
Daten und Datenschutz
Läuft auf deinem eigenen Rechner; als Netzwerknutzung ist nur das Herunterladen von Modellen von Hugging Face beschrieben, mit optionalem `hf_token` für zugangsbeschränkte Modelle.
Kosten im großen Maßstab
Kostenlos; die echten Kosten sind Festplatte (etwa 360GB für Qwen3.8-Flash-Next, ein Checkpoint von 1.56TB für Kimi K3) und Zeit, weil jedes Token das ganze Modell erneut durch die GPU schickt.
Grenzen
Der Durchsatz hängt an der Festplatte; laut Kimi-K3-Pull-Request wurde der Speicherbedarf bei langem Kontext nicht getestet; macOS unterstützt nur Llama-artige Modelle; in einem Nutzer-Benchmark machte Kompression die Generierung langsamer statt schneller.

Was gut ist

  • Führt Modelle mit 70B bis 2.8T Parametern in einstelligen Gigabyte VRAM aus, laut README und Release-Notizen
  • Ein einziger Aufruf von `AutoModel.from_pretrained` für die meisten Hugging-Face-Modelle
  • LoRA-Fine-Tuning mit Schicht-Streaming auf kleinen GPUs seit Version 4.0.0
  • Apache-2.0 und vollständig lokal

Was nicht

  • Kimi K3 erzeugt 292 Sekunden pro Token; Nutzer melden 13.3 bis 28.6 Sekunden pro Token bei 3B- bis 32B-Modellen
  • Die im README versprochene 3x-Beschleunigung durch Kompression widerlegt ein Nutzer-Benchmark, der 4-bit 8-mal langsamer fand
  • Braucht Festplattenplatz für eine zweite, aufgeteilte Kopie jedes Modells
  • Unter macOS auf Llama-artige Modelle beschränkt

Am besten für

Forschende und Bastler, die ein Modell weit größer als ihre GPU für eine Handvoll Prompts ausführen oder feintunen müssen und auf jede Antwort Minuten warten können.

Alternativen zu AirLLM

AirLLM: häufige Fragen

Lohnt sich AirLLM?
AirLLM bringt riesige Modelle tatsächlich in wenigen Gigabyte GPU-Speicher unter, aber bei Sekunden bis Minuten pro Token taugt es dazu, ein Modell einmal laufen zu lassen, nicht zum Chatten. Wir bewerten es mit 3.3 von 5.
Was kostet AirLLM?
Kostenlos und Open Source unter Apache-2.0; kein Bezahltarif.
Welche Nachteile hat AirLLM?
Kimi K3 erzeugt 292 Sekunden pro Token; Nutzer melden 13.3 bis 28.6 Sekunden pro Token bei 3B- bis 32B-Modellen; Die im README versprochene 3x-Beschleunigung durch Kompression widerlegt ein Nutzer-Benchmark, der 4-bit 8-mal langsamer fand; Braucht Festplattenplatz für eine zweite, aufgeteilte Kopie jedes Modells; Unter macOS auf Llama-artige Modelle beschränkt.
Für wen eignet sich AirLLM?
Forschende und Bastler, die ein Modell weit größer als ihre GPU für eine Handvoll Prompts ausführen oder feintunen müssen und auf jede Antwort Minuten warten können.
Was kostet AirLLM für ein Team oder im Produktivbetrieb?
Kostenlos; die echten Kosten sind Festplatte (etwa 360GB für Qwen3.8-Flash-Next, ein Checkpoint von 1.56TB für Kimi K3) und Zeit, weil jedes Token das ganze Modell erneut durch die GPU schickt.
Ist AirLLM sicher für Firmendaten?
Läuft auf deinem eigenen Rechner; als Netzwerknutzung ist nur das Herunterladen von Modellen von Hugging Face beschrieben, mit optionalem `hf_token` für zugangsbeschränkte Modelle.
Was sind die besten Alternativen zu AirLLM?
Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama und Unsloth.

Antworten geprüft am 18. Nov. 2026.