Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
Auch: model host, inference API, model API provider
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Modell zu betreiben erfordert GPUs, einen Modellserver, Skalierung und Monitoring. Ein Inferenzanbieter übernimmt all das und stellt das Modell als API bereit. Manche, wie die großen Labore, bieten nur ihre eigenen Modelle an. Andere, etwa Together AI, Fireworks AI, Groq, Baseten und Replicate, hosten viele Open-Weight-Modelle, sodass du dasselbe Modell bei mehr als einer Firma nutzen kannst.
Wie sie sich unterscheiden
Anbieter desselben Modells können sich bei Preis, Tempo, Kontextfenster, Rate Limits und Quantisierung stark unterscheiden, da manche Versionen mit geringerer Präzision betreiben, um Kosten zu sparen. Viele bieten eine OpenAI-kompatible API, ein Wechsel ist also oft nur eine Änderung von Basis-URL und Schlüssel. Vergleiche aktuelle Token-Preise auf unserer Seite zu Preisen von KI-Modellen.
Aggregatoren
Router sitzen vor vielen Anbietern. Die Inference Providers von Hugging Face etwa geben über ein Token und einen OpenAI-kompatiblen Endpunkt Zugang zu Modellen verschiedener Partneranbieter und können pro Modell den schnellsten oder günstigsten Anbieter wählen. OpenRouter funktioniert ähnlich. Sie machen den Modell-Fallback zwischen Anbietern einfacher.
Inferenzanbieter oder GPU-Cloud
Eine GPU-Cloud vermietet dir Maschinen, und du betreibst das Modell selbst. Ein Inferenzanbieter vermietet dir die Ausgabe des Modells. Das Erste gibt mehr Kontrolle; das Zweite macht weniger Arbeit.
Was du prüfen solltest
Wo Anfragen verarbeitet werden und ob sie gespeichert oder fürs Training genutzt werden, ist für Datenschutz und Datenresidenz wichtig. Lies die Datenbedingungen jedes Anbieters und prüf, ob er Zero Data Retention anbietet.
Verwandte Begriffe
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- OpenAI-kompatible API
- Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- GPU-Cloud
- Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
- Modell-Fallback
- Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.