Cerebras vs. Groq vs. SambaNova: Wo offene Modelle schnell laufen und was das kostet

Wenn dein Produkt einen Menschen auf ein Modell warten lässt oder ein Dutzend Modellaufrufe verkettet, bevor es antwortet, verkaufen drei Firmen Tokens offener Modelle schneller als die GPU-Clouds: Cerebras, Groq und SambaNova. Alle drei haben dafür eigene Chips gebaut. Sie unterscheiden sich darin, was sie anbieten, was sie verlangen, wie viel du ohne Vertrag kaufen kannst und wie stabil die Firma dahinter wirkt. Dieser Leitfaden ist für ein Team, das entscheidet, wo offene Modelle in Produktion laufen sollen.

Jede Zahl stammt aus unseren Reviews von Cerebras, Groq und SambaNova Cloud, von den Seiten der Anbieter oder von Artificial Analysis, das jeden Anbieter desselben Modells misst; gelesen haben wir alles am 7. November 2026. Wir haben diese Dienste nicht selbst genutzt.

Drei Chips, ein Problem

Ein Sprachmodell schreibt ein Token nach dem anderen, und für jedes Token muss der Chip die Gewichte des Modells aus dem Speicher lesen. Auf einer GPU liegen diese Gewichte im High-Bandwidth Memory (HBM) neben dem Prozessor, und ihr Transport, nicht die Rechnerei, begrenzt meist, wie schnell die Antwort bei einem Nutzer ankommt. Jede der drei Firmen greift diesen Schritt anders an.

• Cerebras: ein Chip so groß wie ein Wafer. Chiphersteller schneiden einen Siliziumwafer normalerweise in Dutzende einzelne Chips. Cerebras behält den ganzen Wafer als einen Prozessor, sodass viel mehr Speicher und Rechenleistung auf demselben Stück Silizium sitzen und Daten nicht zwischen Chips wandern müssen. Sein WSE-3 hat 4 Billionen Transistoren und 900.000 Kerne auf 46.225 mm², ein Quadrat von etwa 21,5 cm Kantenlänge.
• Groq: Speicher auf dem Chip, Timing im Voraus geplant. Groqs Language Processing Unit hält die Gewichte in SRAM auf dem Chip statt in HBM: 230 MB pro Chip, mit einer Bandbreite, die Groq auf über 80 TB/s beziffert, gegenüber etwa 8 TB/s bei GPU-Speicher. Der Compiler plant jeden Schritt bis auf den Taktzyklus, sodass nichts auf einen Cache wartet. Der Preis: Ein Chip fasst nur einen kleinen Teil eines großen Modells, daher verteilt sich jedes Modell auf viele verbundene Chips.
• SambaNova: ein umbaubares Fließband. SambaNovas Reconfigurable Dataflow Unit lässt den Compiler einen ganzen Abschnitt des Modells über den Chip legen, sodass Ergebnisse ohne Umweg über den Speicher von einem Schritt zum nächsten fließen. Sein SN40L kombiniert 520 MiB Speicher auf dem Chip mit 64 GiB HBM und bis zu 1,5 TiB gewöhnlichem DDR-Speicher, sodass ein System viele Modelle halten und schnell zwischen ihnen wechseln kann.

Du kaufst Tempo pro Nutzer, nicht billigere Tokens. Jeder Chip braucht außerdem für jedes Modell eigene Compiler-Arbeit, und nach unserer Lesart ist das ein Grund, warum alle drei Karten kurz sind.

Dieselben Modelle im Vergleich

Nur ein Modell steht auf allen drei geteilten APIs: OpenAIs gpt-oss-120b. Das macht es zum fairsten Vergleich, mit den beiden GPU-Clouds, die wir getestet haben, als Maßstab. Die Ausgabegeschwindigkeit ist die Hauptkennzahl von Artificial Analysis: Tokens pro Sekunde über die gesamte Anfrage, gemittelt über kurze, mittlere und lange Prompts der letzten fünf Tage. Weil gpt-oss-120b vor der Antwort nachdenkt, liegt die letzte Spalte, die Zeit bis zum ersten Token der eigentlichen Antwort, näher an dem, was ein Nutzer spürt.

gpt-oss-120b bei	Input $/1M	Output $/1M	Ausgabetempo (Tokens/s)	Erstes Token (s)	Erstes Antwort-Token (s)
Cerebras	0,35 $	0,75 $	1.347	0,65	2,26
Groq	0,15 $	0,60 $	338	1,02	4,90
SambaNova	0,22 $	0,59 $	417	2,56	6,74
Together AI	0,15 $	0,60 $	65	1,53	46,23
Fireworks AI	0,15 $	0,60 $	Nicht gemessen	Nicht gemessen	Nicht gemessen

Die Preise sind die Listenpreise der Anbieter (Cerebras, Groq, SambaNova, Fireworks und unser Together-AI-Review); die Geschwindigkeiten stammen von Artificial Analysis, abgerufen am 7. November 2026. Artificial Analysis führt Fireworks für dieses Modell nicht.

Drei Dinge fallen auf. Cerebras ist drei- bis viermal so schnell wie Groq oder SambaNova und startet früher, verlangt aber mehr als das Doppelte von Groqs Input-Preis. SambaNova schreibt schneller als Groq, sobald es läuft, braucht aber mehr als doppelt so lange wie Groq bis zum ersten Token, was bei allem zählt, was laut gesprochen wird. Und die Zahlen der Anbieter liegen über den gemessenen: Cerebras' Doku nennt etwa 3.000 Tokens pro Sekunde, die von Groq etwa 500, auch weil Artificial Analysis die ganze Anfrage zählt, samt Wartezeit bis zum ersten Token.

Artificial Analysis prüft außerdem, ob die Antworten jedes Anbieters mit OpenAIs Referenzversion des Modells übereinstimmen. SambaNova kommt auf 98,5%, Cerebras auf 91,8%, Groq auf 90,3% und Together AI auf 81,1%. Die Spannen um diese Werte sind breit (bei Groq von 82,7% bis 97,9%), lies sie also als Anlass, deine eigenen Prompts zu testen, nicht als Rangliste.

Die übrigen Überschneidungen sind lückenhaft:

Modell	Wo	Input / Output, $ pro 1M	Tempo (Tokens/s)	Erstes Token (s)
Qwen 3.8 27B	Cerebras	0,99 $ / 1,49 $	etwa 1.850 (Anbieter)	Nicht gemessen
Qwen 3.8 27B	Groq (Preview)	0,80 $ / 4,00 $	etwa 450 (Anbieter)	Nicht gemessen
Llama 3.3 70B	Groq (nur Enterprise)	Vertrieb fragen	211	1,34
Llama 3.3 70B	SambaNova	0,60 $ / 1,20 $	121	1,13
GLM-5.3	SambaNova	2,80 $ / 8,80 $	Nicht gemessen	Nicht gemessen
GLM-5.3	Together AI	1,40 $ / 4,40 $	159	1,08
GLM-5.3	Fireworks AI (Fast-Stufe)	2,10 $ / 6,60 $	207	1,53

Die gemessenen Werte stammen von den Seiten von Artificial Analysis zu Llama 3.3 70B und GLM-5.3; "Anbieter" heißt: aus der Doku des Anbieters. Die Standardstufe von GLM-5.3 bei Fireworks kostet 1,40 $ und 4,40 $. Die GLM-5.3-Zeilen enthalten eine Warnung: SambaNova verlangt dafür das Doppelte von Together AI, und Artificial Analysis hat keine Messung von SambaNovas GLM-5.3, die zeigt, was der Aufpreis bringt.

Was ein Monat kostet

Nimm eine Produktionslast von 2 Milliarden Input- und 500 Millionen Output-Tokens im Monat auf gpt-oss-120b. Zu Listenpreisen kostet sie etwa 1.075 $ bei Cerebras, 735 $ bei SambaNova und 600 $ bei Groq, Together AI oder Fireworks AI. Wenn die Arbeit warten kann, gibt es bei Fireworks im Batch-Modus 50% Rabatt, also etwa 300 $, und der Batch-Rabatt von Together AI reicht bis 50%.

Die Limits, die in Produktion wehtun

Preistabellen verbergen die Obergrenzen, die entscheiden, ob du wirklich ausliefern kannst.

• Cerebras. Das Testguthaben von 5 $ gilt 30 Tage, erlaubt 5 Anfragen pro Minute und kürzt den Kontext auf 65k Tokens; danach endet der Zugang, bis du Guthaben kaufst. Pay-as-you-go erlaubt bei gpt-oss-120b 1.000 Anfragen und 1 Million ungecachte Tokens pro Minute ohne Tageslimit, Qwen 3.8 27B bleibt aber bei 300 Anfragen pro Minute. Der Kontext beträgt 131k Tokens bei gpt-oss-120b. Alles jenseits der zwei geteilten Modelle bedeutet Dedicated Inference und einen Vertrag.
• Groq. Der Gratisplan erlaubt bei den Hauptmodellen 30 Anfragen pro Minute, 1.000 pro Tag und 8.000 Tokens pro Minute. Bezahlte Limits stehen nur in deiner Konsole und werden nicht veröffentlicht. gpt-oss-120b hat 131.072 Tokens Kontext und begrenzt die Ausgabe auf 65.536 Tokens; die Qwen-Preview auf 16.384. Beide Llama-Modelle gibt es nur für Enterprise.
• SambaNova. Die Gratisstufe erlaubt 20 Anfragen pro Tag und Modell. Mit Karte erlaubt die Developer-Stufe bei den meisten Modellen 60 Anfragen pro Minute und 12.000 pro Tag sowie insgesamt 20 Millionen Tokens pro Tag. Die Last oben braucht etwa 83 Millionen Tokens pro Tag, das Vierfache dieser Grenze, und damit ein Enterprise-Abo mit individuellem Preis. Llama 3.3 70B begrenzt jede Antwort auf 3.072 Tokens.

Alle drei kennzeichnen manche Modelle als "Preview" und sagen, sie könnten kurzfristig entfernt werden. SambaNovas Dokumentation und seine Live-Modellliste stimmten am Tag unserer Prüfung nicht überein, teste also gegen den Endpunkt der Modellliste, nicht gegen die Doku.

Was mit deinen Daten passiert

• Cerebras sagt, es bewahre Prompts, Anfragen und Ausgaben der Inference-API nicht auf, Einträge im Prompt-Cache leben aber 5 Minuten bis eine Stunde. Ein SOC-2-Type-2-Bericht und ein Auftragsverarbeitungsvertrag (DPA) sind auf Anfrage erhältlich; der DPA gilt für Geschäftskonten.
• Groq speichert Ein- und Ausgaben standardmäßig nicht, kann sie aber bis zu 30 Tage für Zuverlässigkeit und Missbrauchskontrolle protokollieren, es sei denn, du schaltest Zero Data Retention ein, was jeder Kunde kann. Groq nennt SOC-2-Type-II-Berichte und bietet ein HIPAA Business Associate Addendum. Batch-Dateien werden bis zu 30 Tage aufbewahrt, sofern du sie nicht löschst.
• SambaNova sagt auf seiner Produktseite, es erfasse deine Prompts nie, doch seine Lizenzvereinbarung nennt keine Aufbewahrungsfrist und erlaubt, Abfrageprotokolle zur Verbesserung des Dienstes zu nutzen, und einen öffentlichen SOC-2-Bericht haben wir nicht gefunden. Für die strengsten Fälle verkauft SambaNova dieselbe Hardware für dein eigenes Rechenzentrum als SambaStack, seit März 2026 auch ohne Netzverbindung.

Für Gesundheitsdaten oder andere regulierte Daten ist Groq von den dreien anhand veröffentlichter Dokumente am leichtesten freizugeben. Für Daten, die dein Gebäude nicht verlassen dürfen, verkauft SambaNova die Hardware seiner Cloud als Standardprodukt für den eigenen Betrieb.

Wo jeder gewinnt

Agenten mit vielen verketteten Aufrufen: Cerebras

Mit 1.347 Tokens pro Sekunde und 0,65 Sekunden bis zum ersten Token verkürzt Cerebras jeden Schritt eines Coding- oder Recherche-Agenten, und Dutzende Schritte pro Aufgabe summieren sich zu gesparten Minuten. 1.000 Anfragen pro Minute bei Pay-as-you-go sind selten der Engpass. Du zahlst dafür: mehr als das Doppelte von Groqs Input-Preis und nur zwei Modelle auf der geteilten API.

Sprache: Groq

Ein Telefonagent muss hören, denken und antworten, bevor der Anrufer eine Pause bemerkt. Groq verkauft Transkription mit Whisper large-v3-turbo für 0,04 $ pro Audiostunde neben gpt-oss-20b, das Artificial Analysis mit 630 Tokens pro Sekunde misst, für 0,075 $ Input und 0,30 $ Output; ein Anbieter und ein Vertrag decken also beide Hälften ab. Dazu das BAA und Zero Data Retention, und Groq ist die praktische Wahl für Contact Center.

Eine günstigere zweite Quelle für schnelles gpt-oss: SambaNova

SambaNova liegt bei Preis und Tempo für gpt-oss-120b zwischen den beiden anderen, schneidet bei der Antwortgenauigkeit am besten ab und bietet Modelle, die keiner der Rivalen hat, etwa GLM-5.3 und MiniMax-M3.1-Flash mit 1 Million Tokens Kontext. Die kleinen Self-Service-Limits machen es eher zur Ausweichlösung als zum Hauptanbieter, außer du kaufst die Hardware.

Batch-Kosten und Modellauswahl: eine GPU-Cloud

Keiner der drei ist die günstige Wahl für Arbeit, auf die niemand wartet. Together AI und Fireworks AI erreichen Groqs Preis für gpt-oss-120b, senken ihn im Batch um bis zur Hälfte, führen weit längere Modelllisten, feintunen Modelle für dich und vermieten dedizierte GPUs (eine H100 kostet 5,49 $ pro Stunde bei Together AI und 8 $ bei Fireworks). Wenn du ein bestimmtes offenes Modell, ein Fine-Tuning oder gleichmäßigen Durchsatz für viele Nutzer statt Tempo für einen brauchst, ist eine GPU-Cloud der bessere Kauf. Selbst betreiben mit vLLM oder SGLang gewinnt bei hohem, gleichmäßigem Volumen, wie unser Leitfaden zum Inference Serving erklärt.

Anbieterbindung und Lieferrisiko

Im Code ist ein Wechsel billig. Alle drei sprechen das Chat-Format von OpenAI, also geht es meist um eine Basis-URL und einen Modellnamen, und OpenRouter führt alle drei als Anbieter von gpt-oss-120b. Die Lücken stecken im Detail: Groq lehnt logprobs und logit_bias ab, und Cerebras begrenzt n auf 1 und kombiniert bei gpt-oss-120b keine Tools mit einem Antwortschema. Teste genau die Parameter, die dein Code sendet.

Das größere Risiko sind die Firmen, und 2026 hat alle drei bewegt.

• Cerebras ging im Mai 2026 an die Nasdaq und schloss im Januar einen Compute-Vertrag mit OpenAI über mehr als 10 Milliarden $. Ende September berichtete das Analysehaus SemiAnalysis, dass der Ultrafast-Modus von OpenAIs GPT-6.1 Sol auf Nvidia-GPUs läuft, nicht auf Cerebras; die Aktie fiel binnen einer Woche um fast 20%, auf einen Wert von knapp über 39 Milliarden $ gegenüber 95 Milliarden $ zum Ende des ersten Handelstags, wie CNBC berichtete. Oracle plant, Cerebras-Inference 2027 in seiner Cloud anzubieten. Die Festpreis-Pläne Cerebras Code sind als ausverkauft gelistet.
• Groq lizenzierte seine Chiptechnik im Dezember 2025 für etwa 20 Milliarden $ an Nvidia, und Nvidia stellte den Gründer und einen großen Teil des Ingenieurteams ein. Groq betreibt nun als Nvidia Cloud Partner Nvidia-Hardware neben der eigenen, sammelte im August 350 Millionen $ bei 3,5 Milliarden $ Bewertung ein und sucht eine neue Runde bei 8 Milliarden $, wie am 6. November Bloomberg berichtete. GroqCloud dürfte weiterlaufen; ob es ein LPU-Dienst bleibt, ist weniger sicher.
• SambaNova gab im April 2025 das KI-Training auf und entließ 77 Menschen, etwa 15% der Belegschaft. Intel verhandelte Ende 2025 über einen Kauf für etwa 1,6 Milliarden $; stattdessen beteiligte sich Intel im Februar 2026 an einer Runde über 350 Millionen $, und im Juli sammelte SambaNova 1 Milliarde $ bei 11 Milliarden $ Bewertung ein, mit dem SN50-Chip, der in der zweiten Hälfte 2026 ausgeliefert werden soll.

Offene Gewichte sind deine Versicherung. Ein Team auf gpt-oss-120b kann zwischen den fünf Anbietern der ersten Tabelle wechseln, indem es eine URL und einen Modellnamen ändert; ein Team, das auf einem Modell baut, das nur ein schneller Anbieter hat, kann das nicht.

Ein Startaufbau

1. Normaler Verkehr auf einer GPU-Cloud. gpt-oss-120b oder das offene Modell deiner Wahl bei Together AI oder Fireworks AI, mit Batch für alles, was nicht in Echtzeit läuft.
2. Latenzkritische Aufrufe auf einem schnellen Chip. Agentenschritte zu Cerebras, Sprache zu Groq, mit demselben OpenAI-Client oder über OpenRouter.
3. Ein eingerichteter Ausweichanbieter. SambaNova für gpt-oss-120b, damit ein Ausfall oder ein Rate-Limit bei einem Anbieter nicht dein Produkt lahmlegt.
4. Eine monatliche Prüfung. Preise, Preview-Kennzeichnungen und Modelllisten ändern sich bei allen dreien oft; lies sie neu und wiederhole nach jedem Wechsel deine eigenen Qualitätstests.

Der Haken: Die Tempozahlen stammen von einem einzigen Benchmark-Dienst, der meist einzelne Anfragen von einem Ort aus sendet, und sie sagen wenig darüber, wie sich ein Anbieter bei deiner Spitzenlast verhält. Die Zahlen der Anbieter sind höher, die gemessenen schwanken von Woche zu Woche, und nur ein Modell steht auf allen drei Karten. Nimm die Tabellen als Vorauswahl und lass dann deine eigenen Prompts in deinem eigenen Volumen laufen, bevor du etwas unterschreibst.

Unser Fazit: Die Anbieter schneller Chips sind die Expresskasse. Sie lohnen sich, wenn jemand mit wenigen Artikeln wartet und einen Zug erreichen muss, und sind Verschwendung für den Wocheneinkauf. Schick die Aufrufe, auf die jemand wartet, zu Cerebras oder Groq, halte SambaNova als zweite Kasse und als Option auf eigene Hardware bereit, und lass eine GPU-Cloud alles andere tragen.