Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
Auch: model inference
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Training legt die Gewichte eines Modells fest; Inferenz nutzt sie. Bei einem großen Sprachmodell heißt Inferenz, einen Prompt zu nehmen, ihn in Tokens zu zerlegen und immer wieder das nächste Token vorherzusagen, wobei jedes neue Token wieder eingespeist wird, bis das Modell aufhört oder an ein Längenlimit stößt.
Zwei Phasen
LLM-Inferenz hat eine Prefill-Phase und eine Decode-Phase. Prefill liest den ganzen Prompt auf einmal und baut den KV-Cache auf; sie bestimmt die Time to First Token. Decode erzeugt dann ein Token pro Schritt, und sein Tempo wird in Tokens pro Sekunde gemessen. Prefill ist vor allem durch die Rechenleistung begrenzt, Decode vor allem dadurch, wie schnell die GPU Gewichte aus dem Speicher lesen kann.
Warum es für Entwickler wichtig ist
Training passiert einmal; Inferenz passiert bei jeder Anfrage, sie dominiert also meist die laufenden Kosten eines KI-Produkts. Du kannst sie pro Token bei einem Inferenzanbieter kaufen oder selbst mit einer Engine für Model Serving wie vLLM betreiben. Entscheidungen wie Quantisierung, Batching und Speculative Decoding wägen Tempo, Kosten und Qualität gegeneinander ab. Der Leitfaden zu Inference Serving vergleicht die Optionen.
Nicht dasselbe wie Schlussfolgern
„Inferenz“ ist hier ein technischer Begriff für das Ausführen eines Modells. Er bedeutet nicht, dass das Modell logische Schlüsse zieht. Reasoning-Modelle wenden pro Antwort mehr Inferenz-Rechenleistung auf, was Test-Time Compute heißt.
Verwandte Begriffe
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.