Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Serverless GPU

Serverless GPU ist ein Cloud-Modell, bei dem du Code oder ein Modell bereitstellst und die Plattform GPU-Worker erst startet, wenn Anfragen ankommen. Abgerechnet wird die Laufzeit, und im Leerlauf wird auf null skaliert.

Auch: serverless inference

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Bei einem gemieteten GPU-Server zahlst du pro Stunde, ob er ausgelastet ist oder nicht, und du verwaltest die Maschine. Serverless-GPU-Plattformen wie das Serverless-Produkt von Runpod, Modal, Replicate und Baseten kümmern sich um die Maschinen. Du verpackst ein Modell und einen Handler, die Plattform startet Container auf GPUs, wenn Verkehr ankommt, fügt unter Last weitere hinzu und entfernt sie, wenn der Verkehr aufhört. Die Dokumentation von Runpod sagt zum Beispiel, dass du nur zahlst, solange Worker laufen, und dass Worker nach einer kurzen Leerlaufzeit auf null herunterskalieren.

Wann es passt

Es passt zu sprunghaftem oder geringem Verkehr: einem internen Tool, einem Batch-Job, der nachts läuft, einem Bildmodell, das ein paar Mal pro Stunde genutzt wird, oder einem Prototyp. Du zahlst nicht für ungenutzte GPUs und musst keinen eigenen Cluster für Model Serving betreiben.

Kaltstarts

Der Hauptnachteil ist der Kaltstart. Läuft kein Worker, muss die Plattform einen Container starten und das Modell in den GPU-Speicher laden, bevor sie antworten kann. Große Modelle brauchen länger zum Laden, daher kann die erste Anfrage nach einer ruhigen Phase langsam sein. Plattformen bieten Optionen wie eine Mindestzahl warmer Worker gegen Aufpreis oder das Cachen von Modelldateien nahe der GPU.

Im Vergleich mit anderen Optionen

Bei gleichmäßig hohem Volumen ist eine dedizierte GPU aus einer KI-GPU-Cloud oder Self-Hosting pro Anfrage oft günstiger. Wenn du nur populäre Modelle brauchst, erspart dir ein Inferenzanbieter mit Abrechnung pro Token die Arbeit mit dem Deployment ganz. Optionen zeigt der Leitfaden zum Deployment.

Verwandte Begriffe

Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
GPU-Cloud
Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
Self-Hosting (KI-Modelle)
Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
GPU
Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.

Quellen