Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
Auch: run locally, on-device model, Edge AI, on-device AI
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Ein Modell lokal zu betreiben wurde praktikabel, als leistungsfähige Open-Weight-Modelle erschienen und Tools es einfach machten, quantisierte Versionen auszuführen. Ein typisches Setup lädt ein Modell im GGUF-Format herunter und führt es mit llama.cpp aus, dessen erklärtes Ziel Inferenz mit minimalem Setup auf vielfältiger Hardware ist, oder mit einer bequemeren Hülle wie Ollama oder LM Studio. Die meisten davon bieten eine OpenAI-kompatible API, sodass bestehender Code auf das lokale Modell zeigen kann.
Warum Leute das machen
Datenschutz und Kontrolle sind die Hauptgründe: Nichts verlässt den Rechner, was bei sensiblen Dokumenten und für die Offline-Nutzung zählt. Es gibt keine Rechnung pro Token, und das Modell wird dir nicht unter den Füßen geändert oder abgeschaltet. Es ist außerdem ein günstiger Weg zum Experimentieren.
Abwägungen
Das Modell muss in den VRAM oder Unified Memory passen, was die Größe begrenzt; der GPU-Rechner hilft beim Prüfen. Lokale Modelle sind meist kleiner und weniger leistungsfähig als die größten gehosteten Frontier-Modelle, und die Geschwindigkeit hängt von deiner Hardware ab. Du bist für Updates verantwortlich und dafür, die Modelllizenz zu prüfen.
Edge AI
Edge AI oder On-Device-KI ist die umfassendere Idee, Modelle auf dem Gerät auszuführen, auf dem die Daten entstehen, etwa Smartphones, Kameras, Autos und Sensoren, statt in einem Rechenzentrum. Sie umfasst kleine Bild- und Sprachmodelle ebenso wie Small Language Models und läuft oft auf einer NPU. Google AI Edge ist ein Beispiel für ein Toolkit, um Modelle auf Geräten bereitzustellen.
Verwandte Begriffe
- GGUF
- GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Self-Hosting (KI-Modelle)
- Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
- Small Language Model
- Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
- NPU
- Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.