Continuous Batching
Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.
Auch: iteration-level scheduling, in-flight batching, dynamic batching
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Eine GPU arbeitet am effizientesten, wenn sie viele Anfragen gleichzeitig verarbeitet. Der einfache Weg dahin, statisches Batching, sammelt eine Gruppe von Anfragen, verarbeitet sie gemeinsam und gibt sie zurück, wenn alle fertig sind. Bei Sprachmodellen verschwendet das viel: Eine Anfrage braucht vielleicht eine einzeilige Antwort, eine andere einen langen Aufsatz, also bleiben kurze Anfragen fertig, aber unbeantwortet liegen, während neue Anfragen warten, bis der Batch leer ist.
So funktioniert es
Die Generierung erfolgt ein Token pro Schritt. Das Orca-Paper (OSDI 2022) schlug vor, auf der Ebene dieser Schritte zu planen statt auf der Ebene ganzer Anfragen. Nach jedem Schritt gibt der Server jede fertige Anfrage zurück und setzt wartende Anfragen auf die freien Plätze. Der Batch ist immer voll mit aktiver Arbeit.
Die Technik ist heute Standard. vLLM zählt kontinuierliches Batching eingehender Anfragen zu seinen Kernfunktionen, und auch SGLang, TensorRT-LLM (das es In-Flight Batching nennt) und Hugging Face TGI nutzen es.
Warum es wichtig ist
Wer ein Modell selbst hostet, verdankt es zu einem großen Teil Continuous Batching, dass ein moderner Modellserver pro GPU viel mehr Nutzer bedient als eine naive Schleife über `generate()`. Am besten funktioniert es zusammen mit PagedAttention, weil das Hinzufügen und Entfernen von Anfragen bei jedem Schritt flexiblen Speicher für den KV-Cache braucht.
Nicht dasselbe wie eine Batch-API
Eine Batch-API ist ein rabattierter Offline-Weg, Inferenz bei einem Anbieter einzukaufen. Continuous Batching ist eine Planungsmethode im Server, die für Live-Verkehr genutzt wird.
Abwägung
Mehr gleichzeitige Anfragen teilen sich die GPU, jede einzelne generiert also etwas langsamer. Server bieten Einstellungen für die maximale Batch-Größe und Tokens pro Schritt, damit du Durchsatz gegen Time to First Token abwägen kannst.
Verwandte Begriffe
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- PagedAttention
- PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Batch-API
- Eine Batch-API lässt dich eine große Menge an Modellanfragen in einem Job einreichen und die Ergebnisse später abholen, statt auf jeden Aufruf zu warten. Anbieter führen den Job aus, wenn Kapazität frei ist, und verlangen dafür meist weniger.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.