GPU-Cloud
Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
Auch: neocloud, GPU rental, GPU cloud provider
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Rechenzentrums-GPUs zu kaufen ist teuer und langwierig, daher mieten die meisten Teams. Die großen Clouds (AWS, Google Cloud, Azure) bieten GPU-Instanzen neben allem anderen an. Eine neuere Gruppe von Anbietern, oft Neoclouds genannt, bietet kaum etwas außer GPUs. RunPod ist ein Beispiel: Es bietet On-Demand-GPU-Instanzen mit sekundengenauer Abrechnung, sowohl in zertifizierten Rechenzentren als auch in einem geprüften Community-Netzwerk einzelner Anbieter.
Was du bekommst
Meist eine virtuelle Maschine oder einen Container mit einer oder mehreren GPUs, eine Auswahl an GPU-Modellen, angeschlossenen Speicher und Zugang per SSH oder Notebook. Du wählst eine Vorlage oder dein eigenes Container-Image und führst aus, was du willst: Fine-Tuning-Jobs, einen vLLM-Server, Bildgenerierung. Bei Arbeit mit mehreren GPUs prüf die Verbindung zwischen den Karten, denn Tensor-Parallelismus braucht schnelle Links.
Abrechnungsmodelle
On-Demand-Instanzen lassen sich nach Belieben starten und stoppen. Reservierte Kapazität ist pro Stunde günstiger, bindet dich aber für Monate. Spot- oder unterbrechbare Instanzen sind am günstigsten, können aber kurzfristig zurückgeholt werden, speichere also Checkpoints. Plattformen für Serverless GPU wie Modal rechnen nur ab, solange dein Code läuft, und skalieren auf null. Unser GPU-Rechner vergleicht Stundenpreise für die Karten, die ein Modell braucht.
GPU-Cloud oder Inferenzanbieter
Eine GPU-Cloud verkauft Rechenleistung, und du betreibst die Software. Ein Inferenzanbieter verkauft Modellausgabe pro Token und betreibt alles. GPUs zu mieten lohnt sich, wenn du ein eigenes oder feinabgestimmtes Modell, dauerhaft hohes Volumen oder volle Kontrolle über den Datenpfad brauchst.
Was du prüfen solltest
Ob die gewünschte GPU verfügbar ist, Gebühren für ausgehenden Datenverkehr und Speicher, wo das Rechenzentrum steht (wegen Datenresidenz) und die Sicherheits- und Compliance-Zusagen des Anbieters und, bei Community-Hardware, der Person, der die Maschine gehört.
Verwandte Begriffe
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
- Serverless GPU
- Serverless GPU ist ein Cloud-Modell, bei dem du Code oder ein Modell bereitstellst und die Plattform GPU-Worker erst startet, wenn Anfragen ankommen. Abgerechnet wird die Laufzeit, und im Leerlauf wird auf null skaliert.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
- Self-Hosting (KI-Modelle)
- Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.