Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Self-Hosting (KI-Modelle)

Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.

Auch: self-hosted, self-hosted LLM, on-premises AI

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Bei einer gehosteten API betreibt ein Anbieter das Modell, und du schickst ihm deine Daten. Self-Hosting dreht das um: Du lädst Modellgewichte herunter, meist ein Open-Weight-Modell, und stellst sie selbst bereit.

Warum Teams das machen

Die Hauptgründe sind Kontrolle und Datenschutz. Prompts und Ausgaben verlassen nie deine Umgebung, was bei Datenresidenz hilft und bei Daten, die du nicht an Dritte schicken darfst. Du fixierst außerdem die genaue Modellversion, sodass sie sich nicht unter dir ändert, und kannst sie feinjustieren. Bei hohem, gleichmäßigem Volumen können gemietete oder eigene GPUs weniger kosten als die Bezahlung pro Token.

Wie es gemacht wird

Auf einem einzelnen Rechner führen Ollama, llama.cpp und LM Studio lokale LLMs aus und bieten eine API auf localhost. Für Produktionsverkehr bringen Server wie vLLM und SGLang Continuous Batching und eine OpenAI-kompatible API mit, sodass bestehender Client-Code weiter funktioniert. Die Hardware kann deine eigene sein oder bei einer GPU-Cloud gemietet. Der GPU-Rechner schätzt, was ein Modell braucht.

Die Kosten

Du bist für Verfügbarkeit, Skalierung, Sicherheitspatches, Monitoring und Kapazitätsplanung zuständig. GPUs stehen bei wenig Verkehr ungenutzt herum und kosten trotzdem Geld. Die besten offenen Modelle können bei manchen Aufgaben hinter den führenden geschlossenen zurückliegen, und manche geschlossenen Modelle kann man gar nicht selbst hosten. Auch die Lizenz jedes Modells setzt Bedingungen für die Nutzung.

Mittelweg

Dedizierte Deployments von Inferenzanbietern oder verwaltete Plattformen wie Modal betreiben ein Modell deiner Wahl auf reservierter Hardware, ohne dass du Server verwalten musst. Sie geben dir einen Teil der Kontrolle bei geringerem Betriebsaufwand, aber die Daten verlassen trotzdem dein Netzwerk.

Verwandte Begriffe

Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Datenresidenz
Datenresidenz (Data Residency) ist eine Kontrolle, die die Daten eines Kunden in einer gewählten geografischen Region wie der EU speichert und oft auch verarbeitet, damit ein Team seine eigenen rechtlichen, vertraglichen oder kundenseitigen Vorgaben zum Speicherort erfüllen kann.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
Open-Weight-Modell
Ein Open-Weight-Modell (Modell mit offenen Gewichten) ist ein Modell, dessen trainierte Gewichte für alle zum Herunterladen und Ausführen veröffentlicht sind, oft ohne Trainingscode oder vollständige Trainingsdaten. Es ist also nicht unbedingt Open Source.
GPU-Cloud
Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.

Quellen