Deployment und Hosting

Worauf du achten solltest

Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.

1. 01

   Eigenes Modell mitbringen oder aus einem Katalog wählen

   Entscheide zuerst, ob du eigene Gewichte und eigenen Code bereitstellst oder die gehosteten Modelle eines anderen aufrufst. GPU-Plattformen (Modal, Runpod, Baseten) betreiben jeden Container und jeden Python-Code, den du ihnen gibst. Marktplätze (Replicate, fal) sind am stärksten, wenn das gewünschte Modell schon in ihrem Katalog ist. Modelldienste der Clouds (Amazon Bedrock, Googles Agent Platform) setzen zuerst auf den Katalog; Custom Model Import von Bedrock zum Beispiel akzeptiert nur wenige Architekturen. Ein feinabgestimmtes oder ungewöhnliches Modell verkleinert das Feld schnell.

2. 02

   Serverless oder dedizierte GPUs

   Serverless-Worker starten, wenn Anfragen eintreffen, und stoppen, wenn der Traffic endet, du zahlst im Leerlauf also nichts, hast aber Kaltstarts. Dedizierte GPUs bleiben an, kosten jede Stunde Geld und antworten sofort. Sprunghafter oder geringer Traffic passt zu Serverless; gleichmäßiger Traffic ist mit dedizierter oder reservierter Kapazität günstiger. Die meisten Plattformen bieten beides: Runpod hat flexible und ständig aktive Worker, Baseten rechnet dedizierte GPUs minutengenau ohne Leerlaufgebühr ab, und die Cloud-Dienste verkaufen Provisioned Throughput.

3. 03

   Kaltstarts, gemessen an deinem Modell

   Ein Kaltstart ist die Zeit, um einen Container zu starten und Gewichte in den GPU-Speicher zu laden, bevor die erste Antwort kommt. Anbieter nennen Bestwerte, etwa Runpods Angabe von unter 200 ms für FlashBoot, aber die Ladezeit wächst mit Modell- und Image-Größe. Frag, ob die Kaltstartzeit abgerechnet wird (bei Runpod ja), wie lange ein untätiger Worker wartet, bevor er herunterfährt, und ob du eine Mindestzahl warmer Worker halten kannst.

4. 04

   Preismodell und die Multiplikatoren

   Vergleiche Gleiches mit Gleichem. GPU-Plattformen rechnen pro Sekunde oder Minute Hardware ab; Marktplätze rechnen oft pro ausgegebenem Bild oder pro Sekunde Video ab; Modelldienste rechnen pro Million Tokens ab, mit Batch-Stufen zu etwa halbem Preis und Prioritätsstufen über dem Listenpreis. Dann lies das Kleingedruckte: Modal verlangt das 1,15- bis 1,75-Fache für die Bindung an eine Region und das 3-Fache für nicht unterbrechbare Kapazität, und Googles regionale Endpunkte kosten etwa 10% mehr als globale. Rechne für eine dauerhafte Arbeitslast vor der Wahl eine Monatsrechnung unter jedem Preismodell aus.

5. 05

   Verfügbarkeit und Typen von GPUs

   Prüfe, ob die GPU, die du brauchst, gelistet und in der benötigten Menge tatsächlich verfügbar ist. Eine H100 reicht von etwa 2,69 $ pro Stunde in Runpods Community Cloud bis 6,50 $ dediziert bei Baseten, und B200 sind am oberen Ende inzwischen üblich. Günstigere Community- oder Spot-Kapazität kann unterbrochen werden. Für Training oder sehr große Modelle prüfe, ob es Knoten mit mehreren GPUs und schneller Verbindung wie InfiniBand gibt.

6. 06

   Datenresidenz und Compliance

   Frag, wo Anfragen verarbeitet werden, ob deine Daten irgendjemandes Modell trainieren und welche Zertifizierungen genau den Produkttarif abdecken, den du nutzen wirst. Amazon Bedrock gibt an, dass Prompts nicht zur Verbesserung der Basismodelle genutzt werden, und ist HIPAA-fähig; Runpod hat SOC 2 Type II und ISO 27001, aber seine Compliance-Seite sagt nicht, ob Hosts der Community Cloud dazugehören, und seine eigene Empfehlung schickt regulierte Daten in die Single-Tenant-Secure-Cloud. Baseten Enterprise kann in deinem eigenen Cloud-Konto laufen. Wenn Daten in einer Region bleiben müssen, vergewissere dich, dass die Bindung an eine Region verfügbar ist und was sie kostet.

7. 07

   Steuerung des Autoscalings

   Gutes Autoscaling lässt dich minimale und maximale Replikate, ein Ziel für gleichzeitige Anfragen pro Replikat und eine Verzögerung beim Herunterskalieren festlegen. Ohne das zahlst du entweder zu viel für untätige GPUs oder verlierst bei einer Spitze Anfragen. Prüfe die Standardlimits für gleichzeitige Anfragen in kostenlosen und Einstiegstarifen, die oft niedrig sind.

8. 08

   Lock-in

   Portable Deployments sind einfache Container und OpenAI-kompatible Endpunkte. Der Lock-in wächst mit plattformspezifischen SDKs, Paketformaten wie Cog von Replicate und höherwertigen Diensten wie Bedrock Agents und Knowledge Bases oder Googles Agent Runtime und Memory Bank. Das kann ein fairer Tausch sein, aber rechne die Kosten eines Ausstiegs ein, bevor du sie übernimmst.

9 Tools im Vergleich

Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.

Tools für Deployment und Hosting im Vergleich

Tool	Bewertung	Unser Fazit	Ideal für	Preis
Hugging FaceTool	4.7/5	Als Modell-Hub unverzichtbar, als Hoster konkurrenzfähig, aber unauffällig, und bald im Besitz des größten Verkäufers von KI-Chips.	Entwickler und Forschungsteams, die offene Modelle finden, teilen, testen oder feinabstimmen, und Organisationen, die eine private Modell-Registry brauchen.	Kostenloses Konto (100GB privater Speicher, kein enthaltenes Inferenzguthaben); PRO 9 $/Monat (2 $ Rechenguthaben); Team 20 $/Nutzer/Monat; Enterprise 50 $/Nutzer/Monat. GPUs für Spaces ab 0,40 $/Stunde; Inference Endpoints ab 0,03 $/Stunde (CPU), H100 4,50 $/Stunde.
ModalTool	4.5/5	Modal macht aus einer Python-Funktion mit weniger Aufwand einen GPU-Dienst als jede andere Cloud, über die wir gelesen haben, und verlangt einen Aufpreis, sobald du Garantien brauchst.	Python-Entwickler und ML-Teams, die eigene Modelle bereitstellen oder GPU-Jobs ausführen wollen, ohne Server zu verwalten.	Starter 0 $ + Rechenleistung (30 $ Guthaben/Monat, 3 Plätze, 10 GPUs gleichzeitig); Team 250 $/Monat + Rechenleistung (100 $ Guthaben, unbegrenzte Plätze, 50 GPUs); Enterprise individuell. Pro Sekunde: H100 etwa 3,95 $/Stunde, A100 80GB etwa 2,50 $/Stunde, B200 etwa 6,25 $/Stunde.
falTool	4.4/5	Wenn Bild- oder Videogenerierung im Zentrum deines Produkts steht, ist fal der Ort, an dem neue Modelle zuerst ankommen und die Preise pro Ergebnis am leichtesten zu kalkulieren sind.	Produktteams, die ihren Apps Bild- oder Videogenerierung hinzufügen und viele Modelle hinter einer API wollen.	Pro Ergebnis, z. B. Nano Banana etwa 0,04 $/Bild, Nano Banana Pro 0,15 $/Bild, Kling v3 Pro 0,14 $/Sekunde Video, FLUX.1 [schnell] 0,003 $/Megapixel. GPUs: H100 4,50 $/Stunde laut Liste (ab 2,49 $), B200 7,99 $/Stunde (ab 5,49 $). Gekaufte Credits gelten 365 Tage. Enterprise auf Angebot.
RunpodTool	4.3/5	Bei Runpod gibt es günstige GPU-Stunden, vorausgesetzt, du packst deine Container gern selbst und prüfst, welche Cloud-Stufe deine Compliance tatsächlich abdeckt.	ML-Engineers, die günstige GPUs für Training, Fine-Tuning oder einen selbst verwalteten Inferenz-Endpunkt wollen und mit Docker umgehen können.	Pods pro Stunde: H100 SXM 3,99 $ Secure / 2,69 $ Community; A100 SXM 1,79 $ / 1,39 $; B200 7,99 $ / 5,98 $. Serverless pro Sekunde: H100 etwa 4,79 $ pro Stunde, A100 80GB 2,72 $ pro Stunde, 4090 1,10 $ pro Stunde. Speicher ab 0,05 $ pro GB und Monat.
Amazon BedrockTool	4.3/5	Wenn dein Unternehmen schon auf AWS läuft, macht Bedrock Claude und die großen offenen Modelle zu einem weiteren AWS-Dienst; wenn nicht, meldest du dich für eine lange Preisseite und ein Quotensystem an, das du erst lernen musst.	Unternehmen, die schon auf AWS sind und Claude oder offene Modelle mit Enterprise-Datenkontrollen und einer Rechnung brauchen.	Pro 1 Mio. Token auf Abruf, z. B. DeepSeek V3.2 0,62 $ Input / 1,85 $ Output (USA), Qwen3 Next 80B 0,15 $ / 1,20 $ (USA). Batch und Flex 50% günstiger; Priority +75%. Provisioned Throughput pro Model Unit und Stunde. Custom Model Import 0,05718 $ pro Model-Unit-Minute (US East und West). Guardrails ab 0,10 $ pro 1.000 Texteinheiten.
BasetenTool	4.2/5	Baseten betreibt deine Modelle in Produktion, und die Compliance-Unterlagen sind schon erledigt, aber seine dedizierten GPUs kosten spürbar mehr, als du sie anderswo mieten könntest.	Unternehmen, die eigene oder feinabgestimmte Modelle in Produktion bereitstellen und Zero Data Retention, HIPAA und die Option zum Betrieb in der eigenen Cloud brauchen.	Basic 0 $/Monat, Abrechnung nach Verbrauch; Pro und Enterprise auf Anfrage. Model APIs pro 1 Mio. Token, z. B. GPT OSS 120B 0,10 $ Input / 0,50 $ Output, Kimi K3 3 $ / 15 $. Dedizierte GPUs pro Minute: T4 etwa 0,63 $/Stunde, A100 etwa 4,00 $/Stunde, H100 etwa 6,50 $/Stunde, B200 etwa 9,98 $/Stunde.
ReplicateTool	4.2/5	Replicate ist die Adresse, an der Entwickler noch heute Nachmittag ein neues Bild- oder Videomodell ausprobieren, und die Rechnung beginnt wehzutun, sobald ein Modell den ganzen Tag läuft.	Entwickler, die einer App Bild-, Video- oder Audiogenerierung hinzufügen wollen, ohne eigene GPUs zu betreiben.	Bezahlung pro Ergebnis (z. B. FLUX 1.1 Pro 0,04 $ pro Bild, FLUX Schnell 3 $ pro 1.000 Bilder) oder pro Sekunde Hardware: T4 0,81 $ pro Stunde, L40S 3,51 $ pro Stunde, A100 80GB 5,04 $ pro Stunde, H100 5,49 $ pro Stunde, 8x H100 43,92 $ pro Stunde. Keine Gratisstufe aufgeführt; Mengenrabatte bei hohen Ausgaben.
Google Agent Platform (Vertex AI)Tool	4.2/5	Gemini erscheint hier zuerst, und Claude läuft über dieselbe Rechnung, doch zwei Einführungspreise verdoppeln sich innerhalb von zehn Wochen, und Googles Umbenennung hat die Dokumentation zweigeteilt.	Teams auf Google Cloud oder alle, die auf Gemini standardisieren und Unternehmenskontrollen und Claude unter einem Konto wollen.	Pro 1 Mio. Tokens, z. B. Gemini 3.8 Flash 0,75 $ Input / 3,75 $ Output (bis 31. Dezember 2026, danach 1,50 $ / 7,50 $), Gemini 4 Argon 2 $ / 10 $ (bis 30. November 2026, danach 4 $ / 20 $), Gemini 3.1 Pro Preview 2 $ / 12 $, Claude Sonnet 5.5 2 $ / 10 $. Nicht-globale Endpunkte kosten 10 % mehr; Batch kostet die Hälfte. Provisioned Throughput je nach Laufzeit 2,74 $ bis 7,14 $ pro GSU-Stunde.
InsForgeRepo	3.8/5	Eine vernünftige Wette darauf, dass Agenten ein Backend brauchen, das sie selbst inspizieren und ändern können, vorerst gebremst durch die Jugend des Projekts und die Abhängigkeit von Vercel und OpenRouter für zwei seiner Teile.	Einzelentwickler und kleine Teams, die einen Coding-Agenten Full-Stack-Prototypen bauen lassen und wollen, dass er auch das Backend verwaltet.	Apache 2.0 und kostenlos selbst zu hosten. InsForge Cloud: Free; Pro 25 $/Monat oder 20 $/Monat bei jährlicher Abrechnung, plus Rechenleistung ab 5 $/Monat pro Projekt mit einem monatlichen Guthaben von 10 $; Enterprise nach Vereinbarung.

Im direkten Vergleich

Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 23. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.

Verbinde es mit deinem Agenten

MCP-Server, mit denen Assistenten wie Claude, ChatGPT und Cursor diese Tools direkt nutzen können.

• Vercel MCP 4.2
• Cloudflare MCP Server 4.5
• AWS MCP Server 4.4
• Azure MCP Server 4.3

Wo diese Stufe hingehört

• Mit deinen Dokumenten chatten: Wir würden mit Modal anfangen.
• Kundensupport-Agent: Wir würden mit AWS MCP Server anfangen.
• Assistent mit Langzeitgedächtnis: Wir würden mit Cloudflare MCP Server anfangen.
• Pipeline für Bildgenerierung: Wir würden mit fal, Replicate anfangen.
• Videoproduktion: Wir würden mit fal anfangen.
• Sprachagent: Wir würden mit Modal anfangen.
• Dokumentenverarbeitung: Wir würden mit AWS MCP Server anfangen.
• Dein eigenes feinabgestimmtes Modell: Wir würden mit Modal, Baseten anfangen.

Quellen für diesen Leitfaden

• Runpod pricing
• Runpod compliance
• Runpod: keeping data secure on cloud GPUs
• Runpod docs: Serverless pricing
• Modal pricing
• Amazon Bedrock pricing
• Amazon Bedrock FAQs
• Google Agent Platform pricing