Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Inferenz

Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.

Auch: model inference

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Training legt die Gewichte eines Modells fest; Inferenz nutzt sie. Bei einem großen Sprachmodell heißt Inferenz, einen Prompt zu nehmen, ihn in Tokens zu zerlegen und immer wieder das nächste Token vorherzusagen, wobei jedes neue Token wieder eingespeist wird, bis das Modell aufhört oder an ein Längenlimit stößt.

Zwei Phasen

LLM-Inferenz hat eine Prefill-Phase und eine Decode-Phase. Prefill liest den ganzen Prompt auf einmal und baut den KV-Cache auf; sie bestimmt die Time to First Token. Decode erzeugt dann ein Token pro Schritt, und sein Tempo wird in Tokens pro Sekunde gemessen. Prefill ist vor allem durch die Rechenleistung begrenzt, Decode vor allem dadurch, wie schnell die GPU Gewichte aus dem Speicher lesen kann.

Warum es für Entwickler wichtig ist

Training passiert einmal; Inferenz passiert bei jeder Anfrage, sie dominiert also meist die laufenden Kosten eines KI-Produkts. Du kannst sie pro Token bei einem Inferenzanbieter kaufen oder selbst mit einer Engine für Model Serving wie vLLM betreiben. Entscheidungen wie Quantisierung, Batching und Speculative Decoding wägen Tempo, Kosten und Qualität gegeneinander ab. Der Leitfaden zu Inference Serving vergleicht die Optionen.

Nicht dasselbe wie Schlussfolgern

„Inferenz“ ist hier ein technischer Begriff für das Ausführen eines Modells. Er bedeutet nicht, dass das Modell logische Schlüsse zieht. Reasoning-Modelle wenden pro Antwort mehr Inferenz-Rechenleistung auf, was Test-Time Compute heißt.

Verwandte Begriffe

Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.

Quellen