Serverless GPU
Serverless GPU ist ein Cloud-Modell, bei dem du Code oder ein Modell bereitstellst und die Plattform GPU-Worker erst startet, wenn Anfragen ankommen. Abgerechnet wird die Laufzeit, und im Leerlauf wird auf null skaliert.
Auch: serverless inference
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Bei einem gemieteten GPU-Server zahlst du pro Stunde, ob er ausgelastet ist oder nicht, und du verwaltest die Maschine. Serverless-GPU-Plattformen wie das Serverless-Produkt von Runpod, Modal, Replicate und Baseten kümmern sich um die Maschinen. Du verpackst ein Modell und einen Handler, die Plattform startet Container auf GPUs, wenn Verkehr ankommt, fügt unter Last weitere hinzu und entfernt sie, wenn der Verkehr aufhört. Die Dokumentation von Runpod sagt zum Beispiel, dass du nur zahlst, solange Worker laufen, und dass Worker nach einer kurzen Leerlaufzeit auf null herunterskalieren.
Wann es passt
Es passt zu sprunghaftem oder geringem Verkehr: einem internen Tool, einem Batch-Job, der nachts läuft, einem Bildmodell, das ein paar Mal pro Stunde genutzt wird, oder einem Prototyp. Du zahlst nicht für ungenutzte GPUs und musst keinen eigenen Cluster für Model Serving betreiben.
Kaltstarts
Der Hauptnachteil ist der Kaltstart. Läuft kein Worker, muss die Plattform einen Container starten und das Modell in den GPU-Speicher laden, bevor sie antworten kann. Große Modelle brauchen länger zum Laden, daher kann die erste Anfrage nach einer ruhigen Phase langsam sein. Plattformen bieten Optionen wie eine Mindestzahl warmer Worker gegen Aufpreis oder das Cachen von Modelldateien nahe der GPU.
Im Vergleich mit anderen Optionen
Bei gleichmäßig hohem Volumen ist eine dedizierte GPU aus einer KI-GPU-Cloud oder Self-Hosting pro Anfrage oft günstiger. Wenn du nur populäre Modelle brauchst, erspart dir ein Inferenzanbieter mit Abrechnung pro Token die Arbeit mit dem Deployment ganz. Optionen zeigt der Leitfaden zum Deployment.
Verwandte Begriffe
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- GPU-Cloud
- Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
- Self-Hosting (KI-Modelle)
- Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.