Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Model Serving

Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.

Auch: inference server, serving engine

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

`generate()` in einem Notebook aufzurufen funktioniert für einen Nutzer. Ein Produkt braucht einen Server, den viele Nutzer gleichzeitig ansprechen können, ohne dass der Speicher ausgeht oder alle warten müssen. Diese Software ist eine Serving-Engine, auch Inferenzserver genannt. Gängige Open-Source-Beispiele für LLMs sind vLLM, SGLang und der Server von llama.cpp.

Was eine Serving-Engine tut

Sie lädt Modellgewichte in den VRAM, oft mit Tensor-Parallelismus auf mehrere GPUs verteilt. Sie nimmt Anfragen an, meist über eine OpenAI-kompatible API, und streamt Tokens zurück. Die Hauptaufgabe ist Durchsatz: Das PagedAttention-Paper hält fest, dass Serving mit hohem Durchsatz verlangt, viele Anfragen gleichzeitig zu bündeln. Engines nutzen Continuous Batching, damit neue Anfragen einem laufenden Batch beitreten, und verwalten den KV-Cache sorgfältig, denn verschwendeter Cache-Speicher begrenzt, wie viele Anfragen hineinpassen.

Selbst gehostet oder verwaltet

Du kannst eine Serving-Engine auf eigenen Rechnern oder gemieteten GPUs betreiben (Self-Hosting), auf einer Serverless-GPU-Plattform, oder darauf verzichten und einen Inferenzanbieter pro Token bezahlen. Self-Hosting gibt dir bei hohem Volumen Kontrolle über Modelle, Daten und Kosten, aber du übernimmst Kapazitätsplanung, Upgrades und Monitoring. Der Leitfaden zum Inference Serving vergleicht die Optionen.

Was du messen solltest

Verfolge Time to First Token, Tokens pro Sekunde pro Nutzer und für das ganze System, Fehlerrate und GPU-Speichernutzung. Wer auf eine Größe optimiert, etwa größere Batches für mehr Durchsatz, verschlechtert oft eine andere, etwa die Latenz für jeden Nutzer.

Verwandte Begriffe

Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Continuous Batching
Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.
Self-Hosting (KI-Modelle)
Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.

Quellen