Tokenizer
Ein Tokenizer ist die Komponente, die Text in Tokens zerlegt und sie in numerische IDs verwandelt, die ein Sprachmodell verarbeiten kann, und die die Ausgabe-IDs des Modells wieder in Text verwandelt.
Auch: tokenization, BPE, byte pair encoding
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Jedes Sprachmodell kommt mit seinem eigenen Tokenizer, der beim Training festgelegt wird. Du kannst ihn nicht gegen einen anderen tauschen, ohne das Modell neu zu trainieren.
So funktioniert es
Die meisten modernen Tokenizer nutzen Teilworteinheiten. Ein Paper von Sennrich und Kollegen von 2015 zeigte, dass sich seltene und unbekannte Wörter als Folgen von Teilworteinheiten kodieren lassen, mit einer Segmentierung auf Basis von Byte Pair Encoding (BPE). BPE startet mit Zeichen oder Bytes und fügt wiederholt die häufigsten Paare zu neuen Vokabulareinträgen zusammen. Häufige Wörter werden zu einem einzigen Token, und seltene Wörter zerfallen in Stücke, sodass das Modell auch mit einem Wort umgehen kann, das es nie gesehen hat.
Warum es Entwickler interessiert
Der Tokenizer entscheidet, wie viele Tokens aus deinem Text werden, und das bestimmt Kosten, Geschwindigkeit und wie viel ins Kontextfenster passt. Tokenizer, die vor allem auf Englisch trainiert wurden, können andere Sprachen in viel mehr Tokens zerlegen, was sie langsamer und teurer macht. Leerzeichen, Zahlen und Code-Formatierung können auf überraschende Weise tokenisiert werden, was mit erklärt, warum Modelle manchmal Schwierigkeiten haben, Buchstaben zu zählen oder mit Ziffern zu rechnen.
In der Praxis
Nutze beim Zählen von Tokens den Tokenizer, der zu deinem Modell gehört. Die Bibliothek Transformers von Hugging Face lädt für jedes Modell den passenden Tokenizer.
Verwandte Begriffe
- Token (LLM)
- Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.