Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

tiktoken

OpenAIs schneller BPE-Tokenizer: exakte Token-Zahlen für GPT-Modelle und nur eine Näherung für Claude, Gemini oder Llama.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

4.5/5

Der richtige Weg, GPT-Tokens zu zählen, und ein falscher Weg, die aller anderen zu zählen.

Was ist tiktoken?

tiktoken wandelt Text in die Token-IDs um, die OpenAIs Modelle lesen, und wieder zurück. So zählen Entwickler Tokens, bevor sie eine Anfrage senden. Es enthält OpenAIs Kodierungen: o200k_base für GPT-4o, GPT-4.1, GPT-5 und die Reasoning-Modelle der o-Serie, cl100k_base für GPT-4, GPT-3.5 und die aktuellen Embedding-Modelle, o200k_harmony für die Open-Weight-Modelle gpt-oss sowie ältere Kodierungen für ausgemusterte Modelle. encoding_for_model("gpt-4o") wählt die richtige anhand des Namens.

Der Kern ist in Rust geschrieben und hat Python-Bindings; laut README ist er auf 1 GB Text 3x bis 6x schneller als ein vergleichbarer Open-Source-Tokenizer. Er steht unter MIT-Lizenz, hat rund 19.700 GitHub-Sterne, und Version 0.14.0 erschien am 17. August 2026. PyPI verzeichnete im letzten Monat etwa 225 Millionen Downloads, überwiegend als Abhängigkeit anderer Bibliotheken.

Bei der ersten Nutzung wird jede Kodierungsdatei aus OpenAIs öffentlichem Blob-Speicher geladen, gegen einen SHA-256-Hash geprüft und im temporären Ordner des Systems abgelegt, oder in TIKTOKEN_CACHE_DIR, falls gesetzt.

Lohnt sich tiktoken?

tiktoken ist der Referenz-Tokenizer für OpenAI-Modelle, und für diese Aufgabe gibt es nichts abzuwägen: Es ist OpenAIs eigener Code, es ist schnell, und es ist in den meisten Python-KI-Stacks schon installiert, weil langchain-openai, llama-index-core und andere davon abhängen. Wer einen GPT-5-Prompt mit o200k_base zählt, erhält dieselbe Zahl, die die API abrechnet.

Die Falle ist, es für alles andere zu verwenden. Claude, Gemini, Llama, Mistral und Qwen nutzen jeweils eigene Tokenizer, daher ist eine tiktoken-Zählung für diese Modelle eine Schätzung, die spürbar danebenliegen kann, besonders bei Code, nicht englischem Text und ungewöhnlicher Formatierung. Anthropics Dokumentation warnt, dass sich sogar der eigene Tokenizer mit Claude Opus 4.7 geändert hat und Zählungen älterer Modelle nicht für neuere wiederverwendet werden sollen. Anthropic bietet einen kostenlosen Endpunkt zum Zählen von Tokens, Googles Gemini API einen countTokens-Aufruf; lokale Tokenizer für Open-Weight-Modelle liegen in deren Hugging-Face-Repositorys.

Zwei Betriebsdetails überraschen viele. Die Kodierungsdateien werden bei der ersten Nutzung von openaipublic.blob.core.windows.net geladen, sodass abgeschottete Server und gesperrte Container scheitern, bis die Dateien vorab zwischengespeichert sind und TIKTOKEN_CACHE_DIR darauf zeigt. Und die Zuordnung von Modell zu Kodierung ist ein fest codiertes Wörterbuch in der Bibliothek, mit einem Kommentar, dass daraus eine API werden könnte; ein neuer Modellname kann einen Fehler auslösen, bis das Paket aktualisiert wird, weshalb Release 0.14.0 GPT-5-Varianten auf o200k_base zurückfallen lässt.

Der Haken: tiktoken zählt Text, nicht Anfragen. Chat-Formatierung, Tool-Definitionen, Bilder und Reasoning-Tokens erhöhen die Rechnung auf eine Weise, die ein einfacher encode()-Aufruf nicht sieht; für exakte Kosten braucht es weiterhin einen Helfer im Stil des OpenAI-Cookbooks oder das usage-Feld der API selbst.

Unser Fazit: tiktoken für GPT-Modelle und Budgetprüfungen behalten und jedem anderen Anbieter seinen eigenen Zähler geben; eine einzige "Tokens"-Zahl über Anbieter hinweg vergleicht unterschiedliche Einheiten.

Wo es sich lohnt

  • Ein Backend-Entwickler, der eine Nutzungsgrenze für eine GPT-gestützte Funktion einbaut

    Prompts ablehnen oder kürzen, die ein Token-Budget pro Nutzer überschreiten würden

    Rufe encoding_for_model für das eingesetzte Modell und len(enc.encode(text)) vor jeder Anfrage auf. Das läuft bei typischen Prompts lokal in Mikrosekunden und verursacht keine API-Kosten.

  • Ein Data Engineer, der Dokumente für einen OpenAI-Embedding-Index zerlegt

    Text in Stücke teilen, die unter dem Limit des Embedding-Modells bleiben

    Nutze cl100k_base, die Kodierung für text-embedding-3-small und -large, um Stücke exakt zu messen. In einer Pipeline mit Claude oder Gemini wechselst du zur Zähl-API des jeweiligen Anbieters, statt diese Zahlen wiederzuverwenden.

  • Eine Finanzanalystin, die LLM-Anbieter nach Kosten vergleicht

    Die Monatsausgaben für dieselbe Arbeitslast bei mehreren Anbietern schätzen

    Zähle eine Stichprobe echter Prompts mit tiktoken für GPT-Modelle, mit Anthropics kostenlosem count_tokens-Endpunkt für Claude und mit countTokens für Gemini, und wende dann die jeweilige Preisliste an. Ein einziger Tokenizer für alle drei würde den Vergleich verzerren.

Bevor du dich festlegst

Einrichtung
pip install tiktoken (Python 3.9 oder neuer); der erste get_encoding-Aufruf lädt die Kodierungsdatei, also lege sie für Offline-Rechner vorab mit TIKTOKEN_CACHE_DIR ab.
Integrationen
Genutzt von LangChain, LlamaIndex, LLMLingua und vielen anderen; Portierungen für JavaScript und andere Sprachen gibt es, gepflegt außerhalb dieses Repositorys.
Daten und Datenschutz
Läuft lokal; der einzige Netzwerkaufruf ist der einmalige Download der Kodierung aus OpenAIs öffentlichem Speicher, geprüft per SHA-256-Hash.
Kosten im großen Maßstab
Kostenlos. Das Zählen ist CPU-gebunden und schnell genug für jede Anfrage.
Grenzen
Nur OpenAI-Kodierungen; 61 offene Issues; Modellnamen, die neuer als das installierte Release sind, werden eventuell nicht aufgelöst; Overhead für Nachrichten, Tools und Bilder nicht enthalten.

Was gut ist

  • Exakte Zählungen für OpenAI-Modelle, direkt von OpenAI
  • Rust-Kern, laut README 3x bis 6x schneller als ein vergleichbarer Tokenizer
  • Wenige Abhängigkeiten (regex und requests)
  • Plugin-Mechanismus für eigene Kodierungen

Was nicht

  • Zählungen für Claude, Gemini oder Llama sind nur Näherungen
  • Lädt Kodierungen bei der ersten Nutzung aus dem Internet
  • Fest codierte Modelltabelle hinkt neuen Modellnamen hinterher
  • Zählt keinen Overhead für Chat, Tools oder Bilder

Am besten für

Entwickler, die auf OpenAI-Modellen bauen und schnelle, exakte Token-Zahlen für Budgets, Chunking und Prüfungen des Kontextfensters brauchen.

Alternativen zu tiktoken

tiktoken: häufige Fragen

Lohnt sich tiktoken?
Der richtige Weg, GPT-Tokens zu zählen, und ein falscher Weg, die aller anderen zu zählen. Wir bewerten es mit 4.5 von 5.
Was kostet tiktoken?
Kostenlos und Open Source unter MIT.
Welche Nachteile hat tiktoken?
Zählungen für Claude, Gemini oder Llama sind nur Näherungen; Lädt Kodierungen bei der ersten Nutzung aus dem Internet; Fest codierte Modelltabelle hinkt neuen Modellnamen hinterher; Zählt keinen Overhead für Chat, Tools oder Bilder.
Für wen eignet sich tiktoken?
Entwickler, die auf OpenAI-Modellen bauen und schnelle, exakte Token-Zahlen für Budgets, Chunking und Prüfungen des Kontextfensters brauchen.
Was kostet tiktoken für ein Team oder im Produktivbetrieb?
Kostenlos. Das Zählen ist CPU-gebunden und schnell genug für jede Anfrage.
Ist tiktoken sicher für Firmendaten?
Läuft lokal; der einzige Netzwerkaufruf ist der einmalige Download der Kodierung aus OpenAIs öffentlichem Speicher, geprüft per SHA-256-Hash.
Was sind die besten Alternativen zu tiktoken?
Die nächsten Alternativen, die wir getestet haben, sind Hugging Face Transformers, LiteLLM und Chonkie.

Antworten geprüft am 20. Nov. 2026.

Du entwickelst tiktoken? Zeig diese Bewertung auf deiner Websitetiktoken mit 4.5 von 5 bewertet auf ReviewRamble