Was ist Together AI?
Together AI ist eine Cloud für KI-Modelle mit offenen Gewichten. Sie deckt das ganze Spektrum ab: eine gemeinsam genutzte API für Modelle wie Kimi K3, DeepSeek V4, GLM-5.3, Qwen und gpt-oss, eine Batch-API, Fine-Tuning-Jobs, dedizierte Endpunkte, die ein Modell auf für dich reservierten GPUs ausführen, und reine GPU-Cluster fürs Training.
Die Preise der gemeinsamen API gelten pro Million Tokens; gpt-oss-120B kostet etwa 0,15 $ für Eingabe und 0,60 $ für Ausgabe, DeepSeek V4 Flash 0731 0,14 $ und 0,28 $ und das neuere V4.1 Flash 0,30 $ und 1,20 $. Batch-Jobs laufen bis zu 50 % günstiger. Dedizierte H100-Endpunkte kosten 5,49 $ pro Stunde. Gemietete H100-Cluster kosten auf Abruf 3,99 $ pro Stunde, 1,99 $, wenn du akzeptierst, dass der Job unterbrochen werden kann, und 3,19 $ bei einer Reservierung über 91 bis 180 Tage.
Die Plattform ist vollständig vorausbezahlt. Es gibt keine kostenlose Testphase, der erste Kauf von Guthaben muss mindestens 15 $ betragen, und der API-Zugang endet, wenn das Guthaben null erreicht.
Was kostet Together AI?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| gpt-oss-120B | $0.15 in / $0.60 out per 1M tokens | |
| Kimi K3 | $3 in / $15 out per 1M tokens | |
| Dedicated H100 | $5.49/hour | |
| Dedicated B200 | $8.99/hour | |
| H100 GPU cluster | $3.99/hour on demand, $1.99 preemptible | |
| Fine-tuning | From $0.34 per 1M tokens |
Vorausbezahlt, erster Kauf mindestens 15 $, keine kostenlose Testphase. Pro 1 Million Tokens, z. B. gpt-oss-120B 0,15 $ Eingabe / 0,60 $ Ausgabe, Kimi K3 3 $ / 15 $; Batch bis zu 50 % günstiger. Dedizierte Endpunkte: H100 5,49 $/Stunde, B200 8,99 $/Stunde. GPU-Cluster: H100 3,99 $/Stunde auf Abruf, 1,99 $ unterbrechbar. Fine-Tuning ab 0,34 $ pro 1 Million Tokens.
Lohnt sich Together AI?
Ein offenes KI-Modell ernsthaft zu betreiben, bedeutet meist, mit Konten zu jonglieren: eines für die API, auf der du den Prototyp baust, ein weiteres fürs Fine-Tuning, noch eines für die GPUs, von denen aus du es bereitstellst.
Together erledigt das alles mit einem vorausbezahlten Guthaben. Du kannst auf der gemeinsamen API einen Prototyp bauen, gpt-oss-120B für 2,50 $ pro Million Trainings-Tokens feinabstimmen und es dann auf einem dedizierten Endpunkt bereitstellen, und die Preise belohnen es, wenn du mit wachsender Last dabei bleibst. Nur wenige Konkurrenten bieten neben Inferenz auch Trainingscluster.
Die Preise der gemeinsamen API liegen im Marktdurchschnitt, und der Katalog ändert sich so schnell, dass du ihn im Auge behalten musst. Die Preisseite vom Oktober 2026 nennt für gpt-oss-120B 0,15 $ für Eingabe und 0,60 $ für Ausgabe pro Million Tokens, aber DeepSeek V4.1 Flash kostet bei der Eingabe mehr als doppelt so viel wie das ältere V4 Flash 0731 (0,30 $ gegenüber 0,14 $). Wenn du auf einen Modellnamen festgelegt bist, ändert sich deine Rechnung beim Upgrade. Zwischengespeicherte Eingaben sind bei den größeren Modellen stark rabattiert, und die Batch-API wird bis zu 50 % günstiger abgerechnet.
Bei dedizierter Hardware unterbietet Together deutlich. Ein dedizierter H100-Endpunkt kostet 5,49 $ pro Stunde gegenüber 8,00 $ bei Fireworks AI, eine B200 8,99 $ gegenüber 13,00 $. Trainingscluster sind noch günstiger, mit 3,99 $ pro Stunde für eine H100 auf Abruf und 1,99 $ unterbrechbar; H200-Endpunkte und die Systeme GB200 und GB300 gibt es allerdings nur über den Vertrieb.
Im Alltag ist es einfacher geworden. Das alte System der Build Tiers mit seinen ausgabenabhängigen Rate Limits ist abgeschafft; laut Changelog stoßen die meisten Serverless-Nutzer nicht mehr an Grenzen, auch wenn bei hoher Nachfrage weiterhin 429-Fehler auftreten (die API meldet „zu viele Anfragen“).
Der Haken: Alles ist vorausbezahlt, ohne Testphase und mit hartem Stopp bei null Guthaben, ein Produktivkonto braucht also automatisches Aufladen per Karte. Das Speichern von Prompts ist eine Datenschutzeinstellung und nicht standardmäßig aus, und Zero Data Retention musst du einschalten; danach werden Ein- und Ausgaben weder gespeichert noch zum Training genutzt.
Unser Fazit: Sobald ein Modell seine eigene GPU braucht, mietest du sie bei Together günstiger, vorausgesetzt, du schaltest am ersten Tag Zero Data Retention und automatisches Aufladen ein.
Wo es sich lohnt
Ein Start-up mit zwei Engineers, das einen Chatbot für Dokumente baut
Ein offenes Modell hinter einer API im OpenAI-Stil bereitstellen, ohne GPUs zu betreiben
Ein OpenAI SDK auf Together richten und gpt-oss-120B aufrufen. 750 Millionen Eingabe- und 250 Millionen Ausgabe-Tokens im Monat kosten zu Listenpreisen rund 262 $, mit zwischengespeicherten Eingaben oder Batch weniger.
Ein ML-Engineer, der ein Support-Modell auf 2 Milliarden Tokens feinabstimmt
Eine LoRA auf Llama 3.1 8B trainieren und bereitstellen
Überwachtes Fine-Tuning auf Llama 3.1 8B kostet 0,34 $ pro Million Tokens, der Lauf also rund 680 $. Die Bereitstellung auf einer dedizierten H100 rund um die Uhr kostet etwa 4.000 $ im Monat.
Die Finanzverantwortliche eines Forschungslabors
Einen dreimonatigen Pre-Training-Lauf auf 64 H100 budgetieren
Zum Satz für 91 bis 180 Tage von 3,19 $ pro GPU-Stunde kosten 64 H100 für 90 Tage rund 441.000 $, gegenüber etwa 552.000 $ auf Abruf. Unterbrechbare Kapazität für 1,99 $ ist günstiger, kann aber unterbrochen werden.
Bevor du dich festlegst
- Einrichtung
- Ein Konto anlegen, Guthaben für mindestens 15 $ kaufen, einen API-Key erzeugen und ihn mit dem OpenAI-kompatiblen SDK aufrufen; keine kostenlose Testphase.
- Integrationen
- OpenAI-kompatible Endpunkte für Chat, Embeddings und Batch; Together-SDKs; Fine-Tuning und GPU-Cluster in derselben Konsole.
- Daten und Datenschutz
- Ohne Opt-in keine Nutzung zum Training; Zero Data Retention ist eine Einstellung, die du aktivieren musst; SOC 2 Type 2 und ISO 27001:2022, Berichte über trust.together.ai.
- Kosten im großen Maßstab
- Ein dedizierter H100-Endpunkt, der den ganzen Monat läuft, kostet etwa 4.000 $ (5,49 $ x 730 Stunden); ein H100-Cluster mit 8 GPUs kostet auf Abruf etwa 23.300 $ im Monat oder 18.600 $ bei einer Reservierung über 91 bis 180 Tage.
- Grenzen
- Serverless hat seit Oktober 2026 keine festen Rate Limits pro Stufe mehr, kann unter Last aber 429-Fehler zurückgeben; Batch erlaubt bis zu 30 Milliarden eingereihte Tokens pro Modell.
Was gut ist
- Inferenz, Fine-Tuning und GPU-Cluster in einem vorausbezahlten Konto
- Dedizierte H100-Endpunkte für 5,49 $/Stunde, unter den 8,00 $ von Fireworks
- Batch-API bis zu 50 % günstiger
- SOC 2 Type 2 und ISO 27001:2022
Was nicht
- Keine kostenlose Testphase; erster Kauf mindestens 15 $
- Der API-Zugang endet bei null Guthaben, wenn automatisches Aufladen nicht aktiv ist
- Zero Data Retention muss von Hand aktiviert werden
- Kapazität für H200, GB200 und GB300 braucht ein Gespräch mit dem Vertrieb
Am besten für
Teams, die auf offenen Modellen aufbauen und bei einem Anbieter von API-Aufrufen zu Fine-Tuning und eigenen GPUs übergehen wollen.
Alternativen zu Together AI
Together AI: häufige Fragen
- Lohnt sich Together AI?
- Together betreibt offene Modelle in jeder Phase auf einer Rechnung, von 15 $ API-Guthaben bis zu einem reservierten H100-Cluster, und seine dedizierte Hardware kostet weniger, als die spezialisierten Hoster verlangen. Wir bewerten es mit 4.5 von 5.
- Was kostet Together AI?
- Vorausbezahlt, erster Kauf mindestens 15 $, keine kostenlose Testphase. Pro 1 Million Tokens, z. B. gpt-oss-120B 0,15 $ Eingabe / 0,60 $ Ausgabe, Kimi K3 3 $ / 15 $; Batch bis zu 50 % günstiger. Dedizierte Endpunkte: H100 5,49 $/Stunde, B200 8,99 $/Stunde. GPU-Cluster: H100 3,99 $/Stunde auf Abruf, 1,99 $ unterbrechbar. Fine-Tuning ab 0,34 $ pro 1 Million Tokens.
- Welche Nachteile hat Together AI?
- Keine kostenlose Testphase; erster Kauf mindestens 15 $; Der API-Zugang endet bei null Guthaben, wenn automatisches Aufladen nicht aktiv ist; Zero Data Retention muss von Hand aktiviert werden; Kapazität für H200, GB200 und GB300 braucht ein Gespräch mit dem Vertrieb.
- Für wen eignet sich Together AI?
- Teams, die auf offenen Modellen aufbauen und bei einem Anbieter von API-Aufrufen zu Fine-Tuning und eigenen GPUs übergehen wollen.
- Was kostet Together AI für ein Team oder im Produktivbetrieb?
- Ein dedizierter H100-Endpunkt, der den ganzen Monat läuft, kostet etwa 4.000 $ (5,49 $ x 730 Stunden); ein H100-Cluster mit 8 GPUs kostet auf Abruf etwa 23.300 $ im Monat oder 18.600 $ bei einer Reservierung über 91 bis 180 Tage.
- Ist Together AI sicher für Firmendaten?
- Ohne Opt-in keine Nutzung zum Training; Zero Data Retention ist eine Einstellung, die du aktivieren musst; SOC 2 Type 2 und ISO 27001:2022, Berichte über trust.together.ai.
- Was sind die besten Alternativen zu Together AI?
- Die nächsten Alternativen, die wir getestet haben, sind Fireworks AI, Groq, Modal und OpenRouter.
Antworten geprüft am 22. Okt. 2026.