Token (LLM)
Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
Auch: tokens
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Sprachmodelle sehen nie direkt Buchstaben oder Wörter. Ein Tokenizer zerlegt Text in Tokens und ordnet jedem eine Zahl zu, und das Modell sagt das nächste Token aus den vorherigen voraus.
Warum es wichtig ist
Tokens sind die Einheit für fast jede praktische Grenze. Das Kontextfenster ist eine Token-Zahl. API-Rechnungen laufen pro Input- und Output-Token, wie unter Token-Preise beschrieben. Geschwindigkeit wird in Tokens pro Sekunde angegeben. Vergleiche Preise in unserer Recherche zu KI-Modellpreisen.
Wie viele Zeichen hat ein Token?
Das hängt vom Tokenizer und der Sprache ab. Häufige englische Wörter sind oft ein einziges Token, während seltene Wörter, Code und viele nicht-englische Schriften in mehrere zerfallen. Laut der Dokumentation von Anthropic entspricht ein Token bei seinen früheren Modellen etwa 3,5 englischen Zeichen, und sein neuerer Tokenizer erzeugt für denselben Text etwa 30 Prozent mehr Tokens. Derselbe Text kann also auf verschiedenen Modellen unterschiedlich viel kosten. Nutze den Token-Zähler des Anbieters für genaue Zahlen.
Nicht die anderen Tokens
Diese Seite handelt von Texteinheiten in Sprachmodellen. Sie hat nichts mit API- oder Authentifizierungs-Tokens zu tun, etwa einem API-Schlüssel oder einem OAuth-Access-Token, und auch nichts mit Krypto-Tokens.
Verwandte Begriffe
- Tokenizer
- Ein Tokenizer ist die Komponente, die Text in Tokens zerlegt und sie in numerische IDs verwandelt, die ein Sprachmodell verarbeiten kann, und die die Ausgabe-IDs des Modells wieder in Text verwandelt.
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Output-Tokens
- Output-Tokens sind die Tokens, die ein Sprachmodell in seiner Antwort erzeugt. Sie werden getrennt von Input-Tokens gezählt und abgerechnet, und eine Einstellung namens max_tokens begrenzt, wie viele eine Antwort enthalten darf.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.