Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Tokenizer

Ein Tokenizer ist die Komponente, die Text in Tokens zerlegt und sie in numerische IDs verwandelt, die ein Sprachmodell verarbeiten kann, und die die Ausgabe-IDs des Modells wieder in Text verwandelt.

Auch: tokenization, BPE, byte pair encoding

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Jedes Sprachmodell kommt mit seinem eigenen Tokenizer, der beim Training festgelegt wird. Du kannst ihn nicht gegen einen anderen tauschen, ohne das Modell neu zu trainieren.

So funktioniert es

Die meisten modernen Tokenizer nutzen Teilworteinheiten. Ein Paper von Sennrich und Kollegen von 2015 zeigte, dass sich seltene und unbekannte Wörter als Folgen von Teilworteinheiten kodieren lassen, mit einer Segmentierung auf Basis von Byte Pair Encoding (BPE). BPE startet mit Zeichen oder Bytes und fügt wiederholt die häufigsten Paare zu neuen Vokabulareinträgen zusammen. Häufige Wörter werden zu einem einzigen Token, und seltene Wörter zerfallen in Stücke, sodass das Modell auch mit einem Wort umgehen kann, das es nie gesehen hat.

Warum es Entwickler interessiert

Der Tokenizer entscheidet, wie viele Tokens aus deinem Text werden, und das bestimmt Kosten, Geschwindigkeit und wie viel ins Kontextfenster passt. Tokenizer, die vor allem auf Englisch trainiert wurden, können andere Sprachen in viel mehr Tokens zerlegen, was sie langsamer und teurer macht. Leerzeichen, Zahlen und Code-Formatierung können auf überraschende Weise tokenisiert werden, was mit erklärt, warum Modelle manchmal Schwierigkeiten haben, Buchstaben zu zählen oder mit Ziffern zu rechnen.

In der Praxis

Nutze beim Zählen von Tokens den Tokenizer, der zu deinem Modell gehört. Die Bibliothek Transformers von Hugging Face lädt für jedes Modell den passenden Tokenizer.

Verwandte Begriffe

Token (LLM)
Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
Kontextfenster
Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
Embedding
Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.

Quellen