CPU-Offloading
CPU-Offloading (Auslagerung auf die CPU) betreibt ein Modell, das nicht in den GPU-Speicher passt, indem ein Teil seiner Schichten im Arbeitsspeicher oder auf der Festplatte bleibt und die GPU den Rest übernimmt. Das Modell läuft, aber langsamer.
Auch: offload layers, GPU offloading, partial offload
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Die Gewichte eines Modells liegen normalerweise im VRAM. Ist ein Modell größer als deine GPU, legt Offloading so viele Schichten wie möglich auf die GPU und den Rest in den normalen Arbeitsspeicher. So betreiben Leute große lokale LLMs auf einem Gaming-PC.
Zwei Wege, wie es gemacht wird
In Hugging Face Accelerate und Transformers füllt die Einstellung `device_map="auto"` zuerst die GPU, dann die CPU und schließlich die Festplatte. Schichten im Arbeitsspeicher werden bei Bedarf auf die GPU verschoben, was funktioniert, solange die größte einzelne Schicht auf die GPU passt.
In llama.cpp und darauf aufbauenden Tools wie Ollama und LM Studio wählst du, wie viele Schichten auf die GPU kommen (die Einstellung „GPU layers“). Den Rest berechnet die CPU direkt aus dem Arbeitsspeicher. Dieser Hybridmodus ist bei GGUF-Modellen üblich.
Der Preis
Arbeitsspeicher ist viel langsamer als VRAM, und Daten über den PCIe-Bus zu bewegen ist noch langsamer. Jede ausgelagerte Schicht senkt die Tokens pro Sekunde, manchmal deutlich; Auslagerung auf die Festplatte ist am langsamsten. Offloading eignet sich eher zum Ausprobieren eines Modells oder für Batch-Jobs, bei denen Tempo wenig zählt, als für interaktive Nutzung.
Alternativen
Versuch es vor dem Offloading mit einer kleineren Quantisierung, die jede Schicht verkleinert. Mixture-of-Experts-Modelle eignen sich gut für teilweises Offloading, da pro Token nur wenige Experten laufen. Rechner mit Unified Memory umgehen das Problem, weil CPU und GPU sich einen Speicher teilen. Der GPU-Rechner schätzt, wie viel eines Modells auf deine Karte passt.
Verwandte Begriffe
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Unified Memory
- Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- GGUF
- GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.