Batch-API
Eine Batch-API lässt dich eine große Menge an Modellanfragen in einem Job einreichen und die Ergebnisse später abholen, statt auf jeden Aufruf zu warten. Anbieter führen den Job aus, wenn Kapazität frei ist, und verlangen dafür meist weniger.
Auch: batch inference, batch processing, Message Batches API
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Die meisten Modellaufrufe sind synchron: Du schickst einen Prompt und wartest auf die Antwort. Viel Arbeit braucht aber keine Antwort in Sekunden, etwa eine Million Support-Tickets zu klassifizieren, Produktbeschreibungen zu erzeugen, eine Evaluierungs-Suite laufen zu lassen oder Trainingsdaten zu labeln. Dafür ist eine Batch-API gebaut.
So funktioniert es
Du lädst eine Datei oder Liste von Anfragen hoch, jede mit eigener ID. Der Anbieter stellt den Job in eine Warteschlange, verarbeitet ihn im Hintergrund und gibt dir einen Status, den du abfragen kannst. Ist er fertig, lädst du die Ergebnisse herunter und ordnest sie deinen IDs zu. Die Message Batches API von Anthropic etwa kostet 50 Prozent weniger als Standardaufrufe, und laut Anthropic kann ein Batch bis zu 24 Stunden dauern, auch wenn viele früher fertig sind. OpenAI und andere Anbieter bieten ähnliche Endpunkte mit eigenen Rabatten und Zeitfenstern; aktuelle Zahlen findest du unter Preise von KI-Modellen.
Warum es günstiger ist
Der Anbieter kann Batch-Arbeit in ruhigen Phasen ausführen und Anfragen effizient bündeln. Batch-Jobs haben außerdem meist eigene Rate Limits, getrennt von deinem Live-Verkehr, sodass ein großer Job dein Produkt nicht ausbremst.
Batch-API oder Batching im Server
„Batching“ beschreibt auch, wie ein Modellserver Anfragen auf der GPU gruppiert, etwa beim Continuous Batching. Das ist eine interne Beschleunigungstechnik und passiert auch bei Live-Verkehr. Eine Batch-API ist ein Produkt: ein langsamerer, rabattierter Weg, Inferenz einzukaufen.
Grenzen
Du gibst Latenz und etwas Kontrolle auf. Einzelne Anfragen können fehlschlagen oder ablaufen und müssen neu eingereicht werden, Ergebnisse kommen in anderer Reihenfolge an, und Streaming ist nicht möglich. Für alles, worauf ein Nutzer wartet, passen Batches schlecht.
Verwandte Begriffe
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Rate Limit (API)
- Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- Continuous Batching
- Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.