Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Auch: inference server, serving engine
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
`generate()` in einem Notebook aufzurufen funktioniert für einen Nutzer. Ein Produkt braucht einen Server, den viele Nutzer gleichzeitig ansprechen können, ohne dass der Speicher ausgeht oder alle warten müssen. Diese Software ist eine Serving-Engine, auch Inferenzserver genannt. Gängige Open-Source-Beispiele für LLMs sind vLLM, SGLang und der Server von llama.cpp.
Was eine Serving-Engine tut
Sie lädt Modellgewichte in den VRAM, oft mit Tensor-Parallelismus auf mehrere GPUs verteilt. Sie nimmt Anfragen an, meist über eine OpenAI-kompatible API, und streamt Tokens zurück. Die Hauptaufgabe ist Durchsatz: Das PagedAttention-Paper hält fest, dass Serving mit hohem Durchsatz verlangt, viele Anfragen gleichzeitig zu bündeln. Engines nutzen Continuous Batching, damit neue Anfragen einem laufenden Batch beitreten, und verwalten den KV-Cache sorgfältig, denn verschwendeter Cache-Speicher begrenzt, wie viele Anfragen hineinpassen.
Selbst gehostet oder verwaltet
Du kannst eine Serving-Engine auf eigenen Rechnern oder gemieteten GPUs betreiben (Self-Hosting), auf einer Serverless-GPU-Plattform, oder darauf verzichten und einen Inferenzanbieter pro Token bezahlen. Self-Hosting gibt dir bei hohem Volumen Kontrolle über Modelle, Daten und Kosten, aber du übernimmst Kapazitätsplanung, Upgrades und Monitoring. Der Leitfaden zum Inference Serving vergleicht die Optionen.
Was du messen solltest
Verfolge Time to First Token, Tokens pro Sekunde pro Nutzer und für das ganze System, Fehlerrate und GPU-Speichernutzung. Wer auf eine Größe optimiert, etwa größere Batches für mehr Durchsatz, verschlechtert oft eine andere, etwa die Latenz für jeden Nutzer.
Verwandte Begriffe
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Continuous Batching
- Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.
- Self-Hosting (KI-Modelle)
- Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
- OpenAI-kompatible API
- Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.