Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

CPU-Offloading

CPU-Offloading (Auslagerung auf die CPU) betreibt ein Modell, das nicht in den GPU-Speicher passt, indem ein Teil seiner Schichten im Arbeitsspeicher oder auf der Festplatte bleibt und die GPU den Rest übernimmt. Das Modell läuft, aber langsamer.

Auch: offload layers, GPU offloading, partial offload

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Die Gewichte eines Modells liegen normalerweise im VRAM. Ist ein Modell größer als deine GPU, legt Offloading so viele Schichten wie möglich auf die GPU und den Rest in den normalen Arbeitsspeicher. So betreiben Leute große lokale LLMs auf einem Gaming-PC.

Zwei Wege, wie es gemacht wird

In Hugging Face Accelerate und Transformers füllt die Einstellung `device_map="auto"` zuerst die GPU, dann die CPU und schließlich die Festplatte. Schichten im Arbeitsspeicher werden bei Bedarf auf die GPU verschoben, was funktioniert, solange die größte einzelne Schicht auf die GPU passt.

In llama.cpp und darauf aufbauenden Tools wie Ollama und LM Studio wählst du, wie viele Schichten auf die GPU kommen (die Einstellung „GPU layers“). Den Rest berechnet die CPU direkt aus dem Arbeitsspeicher. Dieser Hybridmodus ist bei GGUF-Modellen üblich.

Der Preis

Arbeitsspeicher ist viel langsamer als VRAM, und Daten über den PCIe-Bus zu bewegen ist noch langsamer. Jede ausgelagerte Schicht senkt die Tokens pro Sekunde, manchmal deutlich; Auslagerung auf die Festplatte ist am langsamsten. Offloading eignet sich eher zum Ausprobieren eines Modells oder für Batch-Jobs, bei denen Tempo wenig zählt, als für interaktive Nutzung.

Alternativen

Versuch es vor dem Offloading mit einer kleineren Quantisierung, die jede Schicht verkleinert. Mixture-of-Experts-Modelle eignen sich gut für teilweises Offloading, da pro Token nur wenige Experten laufen. Rechner mit Unified Memory umgehen das Problem, weil CPU und GPU sich einen Speicher teilen. Der GPU-Rechner schätzt, wie viel eines Modells auf deine Karte passt.

Verwandte Begriffe

VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
Unified Memory
Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
GGUF
GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.

Quellen