Was ist Sesame CSM-1B?
CSM-1B ist das offene Conversational Speech Model von Sesame, dem US-Unternehmen hinter den Sprachassistenten Maya und Miles, veröffentlicht am 13. März 2025. Es nutzt ein Llama-Backbone und einen kleineren Audio-Decoder, der Mimi-Audiocodes mit 24 kHz erzeugt. Trotz des Namens nennt die Hugging-Face-Seite etwa 2 Milliarden Parameter einschließlich Decoder. Seit Version 4.52.1 im Mai 2025 wird es nativ von Hugging Face Transformers unterstützt.
CSM ist ein Basismodell, keine fertige Stimme: Ohne Kontext wählt es einen zufälligen Sprecher, und es klingt am besten, wenn es die vorherigen Gesprächsrunden als Text und Audio erhält, wodurch es auch eine Stimme aus einer Probe fortsetzen kann. Es spricht Englisch; andere Sprachen sind schwach. Es kann keinen Text erzeugen und braucht daher ein separates Sprachmodell. Die Gewichte stehen unter Apache 2.0 hinter einer Zugangsbestätigung. Die feinabgestimmten Modelle hinter Sesames eigener App bleiben geschlossen.
Lohnt sich Sesame CSM-1B?
CSM-1B lohnt sich zu kennen, weil es ein offenes Modell ist, das um den Gesprächskontext herum gebaut wurde, und weil es noch immer die einzigen Gewichte sind, die Sesame veröffentlicht hat. Gib ihm die vorherigen Runden eines Dialogs, jede mit Text, Audio und Sprecher-ID, und es passt seinen Vortrag an. Genau das ließ Sesames Demostimmen anwesend statt vorgelesen klingen.
Was du herunterlädst, ist nicht diese Demo. Die Karte sagt offen, dass das offene Modell auf keine Stimme feinabgestimmt wurde; die Assistenten in Sesames App vom Oktober 2026 laufen auf neueren, geschlossenen Versionen. Ohne Anpassung bekommst du pro Aufruf eine zufällige Stimme, sofern du kein Kontextaudio lieferst, nur Englisch und keine veröffentlichten Werte zu Latenz, Geschwindigkeit oder VRAM. Zwanzig Monate nach dem Start hat es 32 Feinabstimmungen auf Hugging Face und rund 86.000 Downloads im vergangenen Monat, weit unter den 977.000 von VoxCPM2.
Das Ökosystem ist der beste Teil. Die native Transformers-Unterstützung bedeutet Batching, CUDA Graphs und Feinabstimmung mit dem Standard-Trainer, und DeepInfra stellt es über OpenRouter für $7 pro Million Zeichen bereit, etwa halb so viel wie die $15 von Boson oder Fish Audio. In der Arena von Artificial Analysis taucht es nicht auf, es gibt also keinen unabhängigen Qualitätswert.
Der Haken: Die Sicherheit steht nur auf dem Papier. Die Karte verbietet, reale Personen ohne ausdrückliche Einwilligung nachzuahmen, Falschnachrichten und betrügerische Anrufe, und erklärt das Modell zu einem reinen Forschungs- und Bildungswerkzeug; die Apache-Lizenz setzt aber keine solchen Grenzen, und der Code erzwingt sie nicht. Das GitHub-Repository enthält eine Wasserzeichen-Datei, deren Verhalten jedoch nicht dokumentiert ist. Der letzte Commit im Repository stammt aus dem Mai 2025.
Unser Fazit: CSM-1B ist ein guter Ausgangspunkt für ein Team, das seine eigene englische Gesprächsstimme feinabstimmt; wer heute eine fertige Stimme will, kommt mit einem neueren Modell weiter.
Wo es sich lohnt
Ein Sprachassistenten-Startup mit eigenem ML-Ingenieur
Eine englische Markenstimme feinabstimmen, die auf den Gesprächsfluss reagiert
Nimm den Sprecher auf, stimme mit dem Trainer von Transformers fein ab und gib bei der Inferenz vorherige Runden als Kontext mit. Apache 2.0 erlaubt die kommerzielle Auslieferung des Ergebnisses.
Ein Forscher für Konversations-KI
Untersuchen, wie Dialogkontext die Prosodie verändert
Erzeuge dieselbe Zeile mit und ohne vorherige Runden als Segments und vergleiche. Die Ausgabe des Mimi-Codecs mit 24 kHz und die Sprecher-IDs machen kontrollierte Experimente einfach.
Ein Entwickler, der ohne GPUs einen Telefon-Bot prototypisiert
CSMs Vortrag testen, bevor er sich auf Selbsthosting festlegt
Ruf es über den Sprach-Endpunkt von OpenRouter auf, betrieben von DeepInfra zu $7 pro Million Zeichen; 10 Millionen Zeichen an Tests kosten also etwa $70.
Bevor du dich festlegst
- Einrichtung
- Die Zugangsbedingungen auf Hugging Face akzeptieren (für das ursprüngliche Repo auch den Zugang zu Llama-3.2-1B), dann CsmForConditionalGeneration in Transformers 4.52.1 oder neuer laden. Eine CUDA-GPU wird erwartet; getestet mit CUDA 12.4 und 12.6.
- Integrationen
- Hugging Face Transformers, Pipeline und Trainer; DeepInfra über den Endpunkt /api/v1/audio/speech von OpenRouter, der mp3 oder pcm zurückgibt.
- Daten und Datenschutz
- Selbst gehostet bleibt das Audio lokal. Über OpenRouter gehen Anfragen an DeepInfra und sind mit EU-internem Routing nicht verfügbar. Verbotene Nutzungen stehen in der Karte, werden aber nicht erzwungen.
- Kosten im großen Maßstab
- Gewichte kostenlos; gehostet für $7 pro Million Zeichen ohne Aufschlag von OpenRouter.
- Grenzen
- Nur Englisch; braucht Kontextaudio für eine konsistente Stimme; kann keinen Text erzeugen; keine veröffentlichten Latenz- oder Speicherwerte.
Was gut ist
- Nutzt den Gesprächsverlauf, um den Vortrag anzupassen
- Gewichte unter Apache 2.0
- Native Transformers-Unterstützung mit Batching und Feinabstimmung
- Gehostet für $7 pro Million Zeichen über OpenRouter
Was nicht
- Nur Englisch; andere Sprachen 'werden wahrscheinlich nicht gut funktionieren'
- Basismodell: zufällige Stimme ohne Kontextaudio
- Keine veröffentlichten Werte zu Latenz, Geschwindigkeit oder VRAM
- Keine Commits im Repository seit Mai 2025
Am besten für
Forschungs- und Produktteams, die ihre eigene englische Gesprächsstimme auf einer offenen Basis mit freizügiger Lizenz feinabstimmen wollen.
Alternativen zu Sesame CSM-1B
Sesame CSM-1B: häufige Fragen
- Lohnt sich Sesame CSM-1B?
- CSM-1B ist eine taugliche Forschungsbasis für Gesprächssprache, aber Ende 2026 ein älteres, rein englisches Modell, das Arbeit braucht, bevor es wie Sesames Demo klingt. Wir bewerten es mit 3.3 von 5.
- Was kostet Sesame CSM-1B?
- Kostenlos unter Apache 2.0 nach Zustimmung zu den Zugangsbedingungen. Gehostet bei DeepInfra über OpenRouter für $7 pro Million Zeichen.
- Welche Nachteile hat Sesame CSM-1B?
- Nur Englisch; andere Sprachen 'werden wahrscheinlich nicht gut funktionieren'; Basismodell: zufällige Stimme ohne Kontextaudio; Keine veröffentlichten Werte zu Latenz, Geschwindigkeit oder VRAM; Keine Commits im Repository seit Mai 2025.
- Für wen eignet sich Sesame CSM-1B?
- Forschungs- und Produktteams, die ihre eigene englische Gesprächsstimme auf einer offenen Basis mit freizügiger Lizenz feinabstimmen wollen.
- Was kostet Sesame CSM-1B für ein Team oder im Produktivbetrieb?
- Gewichte kostenlos; gehostet für $7 pro Million Zeichen ohne Aufschlag von OpenRouter.
- Ist Sesame CSM-1B sicher für Firmendaten?
- Selbst gehostet bleibt das Audio lokal. Über OpenRouter gehen Anfragen an DeepInfra und sind mit EU-internem Routing nicht verfügbar. Verbotene Nutzungen stehen in der Karte, werden aber nicht erzwungen.
- Was sind die besten Alternativen zu Sesame CSM-1B?
- Die nächsten Alternativen, die wir getestet haben, sind Higgs TTS 3, VoxCPM2, Chatterbox und Maya 2 Native.
Antworten geprüft am 7. Nov. 2026.