Inferenz-Engines

Worauf du achten solltest

Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.

1. 01

   Durchsatz oder Latenz: entscheide, was du kaufst

   Durchsatz ist die Gesamtzahl an Tokens pro Sekunde über alle Nutzer und bestimmt deine Kosten pro Token. Latenz ist das, was ein einzelner Nutzer spürt: Zeit bis zum ersten Token (TTFT) und Ausgabegeschwindigkeit seiner Anfrage. Engines wie vLLM und SGLang bündeln viele Anfragen, um den Durchsatz zu erhöhen, was jeden einzelnen Stream verlangsamen kann; Spezialchips (Groq, Cerebras) verkaufen sehr hohe Geschwindigkeit pro Nutzer. Ein Chatbot braucht eine niedrige TTFT, ein nächtlicher Batch-Job Durchsatz, und ein Agent, der Dutzende Aufrufe nacheinander macht, braucht beides.

2. 02

   Provider-Benchmarks von Artificial Analysis lesen

   Artificial Analysis misst die Zeiten jedes Anbieters, der dasselbe Modell bereitstellt. Die Ausgabegeschwindigkeit sind Tokens pro Sekunde nach dem ersten Token; TTFT sind die Sekunden bis zum ersten Token, was bei Reasoning-Modellen das erste Reasoning-Token bedeutet, prüfe also auch die Zeit bis zum ersten Antwort-Token. Die Werte sind der Median der letzten 72 Stunden, der Standard-Prompt hat etwa 10.000 Eingabe-Tokens, und die Tests laufen aus einer Google-Cloud-Region in Iowa, die TTFT enthält also die Netzwerkentfernung von dort. Die meisten Tests senden eine Anfrage nach der anderen; der Paralleltest sendet nur 10, einmal am Tag, die Diagramme sagen also wenig darüber, wie ein Anbieter unter deiner Spitzenlast standhält.

3. 03

   Hardware-Unterstützung

   Die Engine muss gut auf dem laufen, was du besitzt oder mietest. TensorRT-LLM zielt nur auf NVIDIA. vLLM und SGLang decken NVIDIA und AMD ab, stellenweise auch Intel und Ascend. llama.cpp erreicht CPUs, Apple Metal, CUDA, AMD und Vulkan; MLX ist nur für Apple Silicon. Gehostete Anbieter entscheiden das für dich: Groq betreibt eigene LPU-Chips, Cerebras seine Wafer-Scale-Chips, Together AI und Fireworks NVIDIA-GPUs.

4. 04

   Quantisierungsformate

   Quantisierung speichert Gewichte mit weniger Bits, damit ein Modell auf weniger GPUs passt und schneller läuft, meist mit kleinem Qualitätsverlust. Formate sind an Hardware gebunden: FP8 braucht GPUs ab Ada oder Hopper, NVFP4 und MXFP4 brauchen Blackwell für native Geschwindigkeit, und GGUF ist das Format für llama.cpp, Ollama und die meiste Nutzung auf Laptops. Prüfe, ob die Engine genau den Checkpoint unterstützt, den du herunterladen willst, und miss nach dem Quantisieren die Qualität an deiner eigenen Aufgabe. Gehostete Anbieter veröffentlichen selten, mit welcher Präzision sie ausliefern, ein Grund, warum dasselbe Modell bei zwei Anbietern unterschiedlich antworten kann.

5. 05

   OpenAI-kompatible API und ihre Lücken

   Fast jede Option hier spricht das Format chat-completions von OpenAI, ein Wechsel ist also meist eine Frage von Basis-URL und Modellname. Die Lücken stecken im Detail: Groq lehnt logprobs und logit_bias ab, Cerebras begrenzt n auf 1 und kombiniert bei gpt-oss-120b keine Tools mit einem Antwortschema, und Together nutzt Modell-IDs mit Namensraum. Teste genau die Parameter, die dein Code sendet, einschließlich Streaming und Tool-Aufrufen.

6. 06

   Strukturierte Ausgabe und Tool-Aufrufe

   Agenten und Extraktionsjobs brauchen jedes Mal JSON, das zu einem Schema passt. Engines setzen das durch, indem sie einschränken, welche Tokens erzeugt werden dürfen; SGLang hat strukturierte Generierung zu einer Kernfunktion gemacht, und Together unterstützt response_format in seiner OpenAI-kompatiblen API. Prüfe, ob die Durchsetzung des Schemas zusammen mit Tool-Aufrufen und Streaming für das Modell funktioniert, das du nutzt, denn die Unterstützung unterscheidet sich je Modell, nicht nur je Anbieter.

7. 07

   Viele Fine-Tunes auf einem Basismodell

   Wenn du mehrere LoRA-Fine-Tunes bereitstellst, prüfe, ob die Engine oder der Anbieter viele Adapter auf einer Kopie des Basismodells laden und pro Anfrage den richtigen wählen kann. Ohne das braucht jedes Fine-Tune eine eigene GPU. Fireworks zum Beispiel stellt feinabgestimmte Modelle zum selben Preis bereit wie das Basismodell.

8. 08

   Lizenz und Preisgrundlage

   Selbst gehostete Engines sind freie Software, meist unter Apache 2.0 oder MIT; du zahlst für GPUs und die Leute, die sie betreiben. Gehostete Anbieter rechnen pro Million Tokens ab, mit getrennten Preisen für Eingabe und Ausgabe, und die meisten bieten Rabatte für Batch und gecachte Eingaben sowie dedizierte GPUs pro Stunde. Bei gleichmäßig hohem Volumen gewinnt meist das Selbsthosten auf gemieteten GPUs; bei sprunghaftem oder niedrigem Volumen die Abrechnung pro Token.

13 Tools im Vergleich

Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.

Tools für Inferenz-Engines im Vergleich

Tool	Bewertung	Unser Fazit	Ideal für	Preis
llama.cppRepo	4.8/5	Wenn ein offenes Modell auf einem Laptop läuft, dann fast sicher über llama.cpp, und nichts anderes deckt so viel Hardware ab.	Entwickler, die direkte Kontrolle darüber wollen, wie offene Modelle lokal, auf Edge-Geräten oder auf bescheidenen Servern laufen.	Kostenlos und Open Source unter der MIT-Lizenz. Keine bezahlte Edition.
vLLMRepo	4.7/5	Weiterhin die Engine, um ein offenes Modell hinter eine API für viele Nutzer zu stellen, vorausgesetzt, jemand im Team kümmert sich um ihre Upgrades und ihre Erreichbarkeit im Netz.	Teams, die offene Modelle auf GPU-Servern an viele gleichzeitige Nutzer ausliefern.	Kostenlos und Open Source unter der Apache-2.0-Lizenz. Du zahlst für die GPUs, auf denen es läuft.
OllamaRepo	4.6/5	Lokale Modelle mit einem Befehl, mit Voreinstellungen (4.096 Token Kontext, eine Anfrage nach der anderen, kein Login), die zu einem Laptop passen und zu nichts Größerem.	Entwickler und Einzelpersonen, die offene Modelle mit minimalem Aufwand lokal betreiben wollen.	Open Source (MIT) und lokal kostenlos. Optional Ollama Cloud: Free mit Startguthaben; Pro 20 $/Monat (60 $ Guthaben); Max 100 $/Monat (300 $ Guthaben); Team 500 $/Monat (1.000 $ geteiltes Guthaben, unbegrenzte Nutzer); Enterprise nach Vereinbarung.
Together AITool	4.5/5	Together betreibt offene Modelle in jeder Phase auf einer Rechnung, von 15 $ API-Guthaben bis zu einem reservierten H100-Cluster, und seine dedizierte Hardware kostet weniger, als die spezialisierten Hoster verlangen.	Teams, die auf offenen Modellen aufbauen und bei einem Anbieter von API-Aufrufen zu Fine-Tuning und eigenen GPUs übergehen wollen.	Vorausbezahlt, erster Kauf mindestens 15 $, keine kostenlose Testphase. Pro 1 Million Tokens, z. B. gpt-oss-120B 0,15 $ Eingabe / 0,60 $ Ausgabe, Kimi K3 3 $ / 15 $; Batch bis zu 50 % günstiger. Dedizierte Endpunkte: H100 5,49 $/Stunde, B200 8,99 $/Stunde. GPU-Cluster: H100 3,99 $/Stunde auf Abruf, 1,99 $ unterbrechbar. Fine-Tuning ab 0,34 $ pro 1 Million Tokens.
SGLangRepo	4.4/5	SGLang ist für Agenten- und RL-Workloads gebaut, die dieselben langen Prompts immer wieder senden, und gehört hinter ein abgeschottetes Netzwerk.	Teams, die offene Modelle mit starker Wiederverwendung von Prompts bereitstellen, etwa für Agenten und mehrstufigen Chat.	Kostenlos und Open Source unter der Apache-2.0-Lizenz.
MLXRepo	4.4/5	MLX macht aus einem Mac mit viel Arbeitsspeicher eine glaubwürdige Maschine für lokale Inferenz und LoRA-Tuning; abseits von Apple Silicon ist es eine Portierung und kein Grund zum Wechseln.	Entwickler und Forscher auf dem Mac, die native Geschwindigkeit und Kontrolle über Python auf Apple Silicon wollen.	Kostenlos und Open Source unter der MIT-Lizenz.
Fireworks AITool	4.4/5	Fireworks ist ein sicheres Zuhause für offene Modelle in Produktion, das standardmäßig nichts speichert und feinabgestimmte Modelle zu Basispreisen bereitstellt, und die dedizierten GPUs sind der einzige teure Teil.	Teams, die offene Modelle in Produktion betreiben und Fine-Tuning sowie planbare Preise pro Token wollen.	Vorausbezahlte Credits. Pro 1M Tokens, z. B. GPT OSS 120B 0,15 $ Input / 0,60 $ Output, Kimi K3 3 $ / 15 $. Batch 50 % günstiger. Dedizierte H100/H200 8 $/Stunde, B200 13 $/Stunde. Fine-Tuning ab 0,50 $ pro 1M Trainings-Tokens.
audio.cppRepo	4.3/5	audio.cpp leistet für lokale Sprachverarbeitung, was llama.cpp für Chatmodelle geleistet hat, und betreibt nach vier Monaten bereits mehr als 110 Modellfamilien.	Engineers, die mehrere Sprach- oder Audiomodelle selbst hosten und eine native Runtime mit HTTP-API statt einer Python-Umgebung pro Modell wollen.	Kostenlos unter Apache 2.0. Keine bezahlte Edition. Modellgewichte behalten ihre eigenen Lizenzen, viele davon nicht kommerziell.
colibriRepo	4.2/5	Eine in C geschriebene Engine, die von der Festplatte streamt und offene Modelle mit 744B Parametern auf einem Desktop-Rechner laufen lässt, langsam, und nebenbei einen ehrlichen lokalen Ersatz für die Jev-Entscheidungs-API bietet.	Enthusiasten und Entwickler, die offene MoE-Modelle in Frontier-Größe auf dem eigenen Rechner ausführen oder Entscheidungen im Stil von Jev prototypisch testen wollen.	Kostenlos und Open Source (Apache 2.0). Jedes Modell behält seine eigene Lizenz.
TensorRT-LLMRepo	4.0/5	Bei TensorRT-LLM bekommt neue NVIDIA-Hardware ihre ersten ernsthaften Optimierungen, der Preis dafür sind eine lange CVE-Liste und stabile Releases, deren Takt sich in Jahreszeiten bemisst.	Teams mit großen NVIDIA-GPU-Flotten, die maximalen Durchsatz pro GPU wollen.	Kostenlos und Open Source unter der Apache-2.0-Lizenz (einige mitgelieferte Komponenten haben eigene Lizenzen).
GroqTool	4.0/5	Groq verkauft weiterhin einige der schnellsten Tokens auf dem Markt zu Schnäppchenpreisen, doch das Unternehmen dahinter hat sich verändert, und seine Modellliste ist entsprechend geschrumpft.	Entwickler, die Sprach-, Echtzeit- oder Agentenfunktionen bauen, bei denen die Antwortgeschwindigkeit mehr zählt als die Modellauswahl.	Kostenloser Plan mit Ratenlimits (30 Anfragen pro Minute und 1.000 pro Tag für gpt-oss-120b). Developer-Plan mit Abrechnung nach Nutzung: gpt-oss-120b 0,15 $ Eingabe / 0,60 $ Ausgabe pro 1 Mio. Tokens, gpt-oss-20b 0,075 $ / 0,30 $, qwen3.8-27b 0,80 $ / 4,00 $; Whisper large-v3-turbo 0,04 $ pro Stunde Audio. Llama und einige neuere Modelle über den Vertrieb.
CerebrasTool	4.0/5	Cerebras verkauft Tempo pro Token, und bei mehr als dem doppelten Input-Preis von Groq für gpt-oss lohnt es sich nur, wenn die Latenz das Produkt ist.	Entwickler, die latenzkritische Agenten oder Coding-Tools bauen und mit gpt-oss- oder Qwen-Modellen arbeiten können.	Einmaliges Testguthaben von 5 $ (30 Tage), danach Pay-as-you-go. gpt-oss-120b 0,35 $ Input / 0,75 $ Output pro 1 Mio. Tokens; Qwen 3.8 27B 0,99 $ / 1,49 $. Dedicated Inference per Vereinbarung. Cerebras Code-Abos (50 $ und 200 $ im Monat) als ausverkauft gelistet.
DeepInferRepo	3.6/5	Ein seltener Blick ins Innere eines LLM-Dienstes in Produktion, aber vorerst eine Referenz-Engine für ein Modell auf zwei Chipfamilien und nichts, was man hinter eine API stellt.	Inferenz-Engineers, die DeepSeek-V4.1-Flash im Cluster-Maßstab betreiben und DeepSeeks Kernels und Einstellungen als Referenz wollen.	Kostenlos und Open Source unter der Lizenz Apache 2.0. Du bezahlst für Blackwell-GPUs oder Ascend-NPUs.

Im direkten Vergleich

Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 19. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.

Wo diese Stufe hingehört

• Mit deinen Dokumenten chatten: Wir würden mit Together AI anfangen.
• Sprachagent: Wir würden mit Groq anfangen.
• Private KI auf dem eigenen Gerät: Wir würden mit Ollama, llama.cpp, MLX anfangen.
• Dein eigenes feinabgestimmtes Modell: Wir würden mit vLLM anfangen.

Quellen für diesen Leitfaden

• Artificial Analysis: performance benchmarking methodology
• vLLM docs: quantisation support
• SGLang docs: quantisation
• TensorRT-LLM docs: quantisation
• TensorRT-LLM docs: trtllm-serve
• Groq docs: OpenAI compatibility
• Cerebras docs: OpenAI compatibility
• Together AI docs: OpenAI API compatibility
• Fireworks AI docs: OpenAI compatibility
• DeepInfer on GitHub