Test-Time Compute
Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.
Auch: reasoning effort, thinking budget, inference-time compute, inference-time scaling
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Jahrelang war der Hauptweg zu einem besseren Modell, ein größeres länger zu trainieren. Test-Time Compute ist der andere Hebel: Das Modell bleibt gleich, darf aber für jede Frage mehr Arbeit leisten. Wege dahin sind, vor der Antwort das Denken auszuschreiben, wie es Reasoning-Modelle tun, mehrere Antworten zu sampeln und die beste zu wählen und Antworten mit einem Verifier zu prüfen.
Was die Forschung zeigt
Ein Paper von Snell und Kollegen von 2024 untersuchte, wie viel zusätzliche Rechenleistung zur Inferenzzeit hilft. Es fand heraus, dass die beste Art, sie einzusetzen, davon abhängt, wie schwer der Prompt ist, und dass bei manchen Problemen ein kleineres Modell mit mehr Test-Time Compute ein viel größeres schlagen konnte. Zusätzliches Nachdenken hilft meist am meisten bei Mathematik, Coding und mehrstufigen Problemen und wenig bei einfachen Abfragen.
Reasoning Effort und Thinking Budgets
APIs bieten das als Einstellung an. Der manuelle Modus für Extended Thinking von Anthropic nutzte einen Wert budget_tokens dafür, wie viele Tokens Claude für das Nachdenken verwenden durfte; neuere Claude-Modelle nutzen stattdessen eine Effort-Einstellung. Andere Anbieter bieten ähnliche Optionen für niedrigen, mittleren und hohen Reasoning Effort. Das sind die Namen „Reasoning Effort“ und „Thinking Budget“, denen du in Dokumentationen begegnest.
Die Kosten
Denk-Tokens werden meist als Output-Tokens abgerechnet, daher bedeutet mehr Test-Time Compute unter Token-Preisen höhere Kosten pro Anfrage und langsamere Antworten, einschließlich einer längeren Time to First Token für sichtbaren Text. Lege den Aufwand pro Aufgabe fest: niedrig für Routineanfragen, hoch nur dort, wo Tests zeigen, dass es hilft. Wie sich Preise vergleichen, zeigt unsere Recherche zu KI-Modellpreisen.
Unterschied zu Chain-of-Thought
Chain-of-Thought ist eine Technik, bei der ein Modell per Prompt dazu gebracht wird, seine Schritte zu zeigen. Test-Time Compute ist das breitere Budget, und Chain-of-Thought ist eine Art, es auszugeben.
Verwandte Begriffe
- Reasoning-Modell
- Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
- Chain-of-Thought
- Chain-of-Thought (CoT, Gedankenkette) ist eine Prompting-Methode, bei der ein Sprachmodell vor seiner endgültigen Antwort Zwischenschritte seines Denkens ausschreibt, was Ergebnisse bei Mathematik, Logik und anderen mehrstufigen Aufgaben meist verbessert.
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Output-Tokens
- Output-Tokens sind die Tokens, die ein Sprachmodell in seiner Antwort erzeugt. Sie werden getrennt von Input-Tokens gezählt und abgerechnet, und eine Einstellung namens max_tokens begrenzt, wie viele eine Antwort enthalten darf.
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.