Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Test-Time Compute

Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.

Auch: reasoning effort, thinking budget, inference-time compute, inference-time scaling

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Jahrelang war der Hauptweg zu einem besseren Modell, ein größeres länger zu trainieren. Test-Time Compute ist der andere Hebel: Das Modell bleibt gleich, darf aber für jede Frage mehr Arbeit leisten. Wege dahin sind, vor der Antwort das Denken auszuschreiben, wie es Reasoning-Modelle tun, mehrere Antworten zu sampeln und die beste zu wählen und Antworten mit einem Verifier zu prüfen.

Was die Forschung zeigt

Ein Paper von Snell und Kollegen von 2024 untersuchte, wie viel zusätzliche Rechenleistung zur Inferenzzeit hilft. Es fand heraus, dass die beste Art, sie einzusetzen, davon abhängt, wie schwer der Prompt ist, und dass bei manchen Problemen ein kleineres Modell mit mehr Test-Time Compute ein viel größeres schlagen konnte. Zusätzliches Nachdenken hilft meist am meisten bei Mathematik, Coding und mehrstufigen Problemen und wenig bei einfachen Abfragen.

Reasoning Effort und Thinking Budgets

APIs bieten das als Einstellung an. Der manuelle Modus für Extended Thinking von Anthropic nutzte einen Wert budget_tokens dafür, wie viele Tokens Claude für das Nachdenken verwenden durfte; neuere Claude-Modelle nutzen stattdessen eine Effort-Einstellung. Andere Anbieter bieten ähnliche Optionen für niedrigen, mittleren und hohen Reasoning Effort. Das sind die Namen „Reasoning Effort“ und „Thinking Budget“, denen du in Dokumentationen begegnest.

Die Kosten

Denk-Tokens werden meist als Output-Tokens abgerechnet, daher bedeutet mehr Test-Time Compute unter Token-Preisen höhere Kosten pro Anfrage und langsamere Antworten, einschließlich einer längeren Time to First Token für sichtbaren Text. Lege den Aufwand pro Aufgabe fest: niedrig für Routineanfragen, hoch nur dort, wo Tests zeigen, dass es hilft. Wie sich Preise vergleichen, zeigt unsere Recherche zu KI-Modellpreisen.

Unterschied zu Chain-of-Thought

Chain-of-Thought ist eine Technik, bei der ein Modell per Prompt dazu gebracht wird, seine Schritte zu zeigen. Test-Time Compute ist das breitere Budget, und Chain-of-Thought ist eine Art, es auszugeben.

Verwandte Begriffe

Reasoning-Modell
Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
Chain-of-Thought
Chain-of-Thought (CoT, Gedankenkette) ist eine Prompting-Methode, bei der ein Sprachmodell vor seiner endgültigen Antwort Zwischenschritte seines Denkens ausschreibt, was Ergebnisse bei Mathematik, Logik und anderen mehrstufigen Aufgaben meist verbessert.
Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
Output-Tokens
Output-Tokens sind die Tokens, die ein Sprachmodell in seiner Antwort erzeugt. Sie werden getrennt von Input-Tokens gezählt und abgerechnet, und eine Einstellung namens max_tokens begrenzt, wie viele eine Antwort enthalten darf.
Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.

Quellen