Self-Hosting (KI-Modelle)
Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
Auch: self-hosted, self-hosted LLM, on-premises AI
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Bei einer gehosteten API betreibt ein Anbieter das Modell, und du schickst ihm deine Daten. Self-Hosting dreht das um: Du lädst Modellgewichte herunter, meist ein Open-Weight-Modell, und stellst sie selbst bereit.
Warum Teams das machen
Die Hauptgründe sind Kontrolle und Datenschutz. Prompts und Ausgaben verlassen nie deine Umgebung, was bei Datenresidenz hilft und bei Daten, die du nicht an Dritte schicken darfst. Du fixierst außerdem die genaue Modellversion, sodass sie sich nicht unter dir ändert, und kannst sie feinjustieren. Bei hohem, gleichmäßigem Volumen können gemietete oder eigene GPUs weniger kosten als die Bezahlung pro Token.
Wie es gemacht wird
Auf einem einzelnen Rechner führen Ollama, llama.cpp und LM Studio lokale LLMs aus und bieten eine API auf localhost. Für Produktionsverkehr bringen Server wie vLLM und SGLang Continuous Batching und eine OpenAI-kompatible API mit, sodass bestehender Client-Code weiter funktioniert. Die Hardware kann deine eigene sein oder bei einer GPU-Cloud gemietet. Der GPU-Rechner schätzt, was ein Modell braucht.
Die Kosten
Du bist für Verfügbarkeit, Skalierung, Sicherheitspatches, Monitoring und Kapazitätsplanung zuständig. GPUs stehen bei wenig Verkehr ungenutzt herum und kosten trotzdem Geld. Die besten offenen Modelle können bei manchen Aufgaben hinter den führenden geschlossenen zurückliegen, und manche geschlossenen Modelle kann man gar nicht selbst hosten. Auch die Lizenz jedes Modells setzt Bedingungen für die Nutzung.
Mittelweg
Dedizierte Deployments von Inferenzanbietern oder verwaltete Plattformen wie Modal betreiben ein Modell deiner Wahl auf reservierter Hardware, ohne dass du Server verwalten musst. Sie geben dir einen Teil der Kontrolle bei geringerem Betriebsaufwand, aber die Daten verlassen trotzdem dein Netzwerk.
Verwandte Begriffe
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Datenresidenz
- Datenresidenz (Data Residency) ist eine Kontrolle, die die Daten eines Kunden in einer gewählten geografischen Region wie der EU speichert und oft auch verarbeitet, damit ein Team seine eigenen rechtlichen, vertraglichen oder kundenseitigen Vorgaben zum Speicherort erfüllen kann.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
- Open-Weight-Modell
- Ein Open-Weight-Modell (Modell mit offenen Gewichten) ist ein Modell, dessen trainierte Gewichte für alle zum Herunterladen und Ausführen veröffentlicht sind, oft ohne Trainingscode oder vollständige Trainingsdaten. Es ist also nicht unbedingt Open Source.
- GPU-Cloud
- Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.