Was ist Moshi?
Moshi ist Kyutais Dialogmodell von Sprache zu Sprache samt dem Code, um es zu betreiben. Anders als eine Pipeline, die transkribiert, nachdenkt und dann spricht, hört Moshi zu und spricht gleichzeitig: Es modelliert deinen Audiostrom und seinen eigenen zusammen mit einem Transformer mit 7B Parametern und einem parallelen Textstrom, den es inneren Monolog nennt. Sein Codec Mimi komprimiert Audio mit 24 kHz auf 12,5 Frames pro Sekunde bei 1,1 kbps.
Das Repository enthält drei Inferenz-Stacks: PyTorch für die Forschung, MLX für Mac und iPhone und Rust mit CUDA oder Metal für die Produktion, dazu den Web-Client der Demo moshi.chat. Es bringt zwei Stimmen mit, Moshiko und Moshika, und derselbe Code betreibt Kyutais Sprachübersetzung Hibiki sowie seine Streaming-Modelle für Sprache zu Text und Text zu Sprache.
Der Python-Code und der Web-Client stehen unter MIT-Lizenz, das Rust-Backend unter Apache 2.0; die Gewichte unter CC-BY 4.0. Das Repository hat rund 11.500 GitHub-Sterne, das Paket moshi erreichte im Februar 2026 Version 0.2.13 auf PyPI, und der letzte Commit stammt vom 16. Mai 2026.
Lohnt sich Moshi?
Moshis Latenz ist der Grund, es sich anzusehen. Kyutai beziffert die theoretische Untergrenze auf 160 ms (ein Mimi-Frame von 80 ms plus 80 ms akustische Verzögerung) und misst auf einer L4-GPU rund 200 ms Ende zu Ende. Weil es beide Sprecher zugleich modelliert, lässt es sich unterbrechen und kann sprechen, während du sprichst; Pipelines, die Spracherkennung, ein Sprachmodell und Sprachsynthese verketten, müssen das mit Sprachaktivitätserkennung nachahmen.
Das Modell dahinter hat sich seit 2024 nicht verändert. Es spricht nur Englisch, laut FAQ wäre für eine andere Stimme oder Persönlichkeit Fine-Tuning nötig, und die Pretraining-Daten werden nicht veröffentlicht. Die MLX- und die Rust-Version stoppen nach etwa 5 Minuten Gespräch, weil sie einen festen Puffer nutzen; die PyTorch-Version läuft weiter, doch laut Kyutai ist das kaum getestet und die Qualität dürfte nachlassen.
Die Hardware ist die praktische Hürde. Der PyTorch-Stack hat keine Quantisierung und verlangt eine GPU mit 24 GB; das Rust-Backend läuft in int8 auf CUDA, eine Karte mit 12 GB geht nur mit einem Workaround aus dem Issue-Tracker, mit 8 GB ist es nicht möglich. Auf dem Mac führt der Weg über MLX mit 4-Bit-Gewichten; laut Kyutai ruiniert alles unter 4 Bit die Qualität, und auf einem M1 erwartet man keinen Betrieb.
Die Standardeinstellungen für den Einsatz verdienen einen genauen Blick. Der PyTorch-Server lauscht auf localhost, Port 8998, ohne Authentifizierung im Code, während die Beispielkonfiguration des Rust-Backends an 0.0.0.0 mit einem selbstsignierten Zertifikat bindet und damit aus dem Netz erreichbar ist. Die Option --gradio-tunnel veröffentlicht eine öffentliche URL, die über die USA läuft und laut Kyutai aus Europa bis zu 500 ms hinzufügen kann. Ein Sprachagent für den Produktivbetrieb antwortet mit einer Pipeline um ein stärkeres Sprachmodell besser; Moshi ist die Referenz für Vollduplex-Forschung und für alle, die das nächste bauen.
Wo es sich lohnt
Eine Sprachforscherin in einem Universitätslabor
Sprecherwechsel und Unterbrechungen im gesprochenen Dialog untersuchen
Den PyTorch-Server auf einer GPU mit 24 GB betreiben und beide Audioströme zusammen mit dem von Moshi vorhergesagten inneren Monolog protokollieren. Die offenen Gewichte und der technische Bericht auf arXiv bieten eine zitierbare Basis, und der Code ist unter MIT kostenlos.
Ein Ingenieur für Sprachschnittstellen bei einem Start-up für Consumer-Robotik
Erleben, was ein unterbrechbares Gespräch unter einer Sekunde für ein Produkt bedeutet, bevor man eins baut
Das Rust-Backend mit CUDA bauen, mit config-q8.json für int8-Gewichte starten und die Web-Oberfläche auf Port 8998 öffnen. Als Prototyp behandeln: nur Englisch, feste Persona und Sitzungen, die nach etwa 5 Minuten enden.
Ein Mac-Entwickler, der Sprache direkt auf dem Gerät ausprobiert
Ein Sprache-zu-Sprache-Modell ohne Cloud-Rechnung testen
pip install moshi_mlx unter Python 3.12 ausführen und python -m moshi_mlx.local -q 4 auf Apple silicon starten. Kyutai hat auf einem MacBook Pro M3 getestet; der Kommandozeilen-Client hat keine Echounterdrückung, also die Web-Oberfläche oder Kopfhörer nutzen.
Bevor du dich festlegst
- Einrichtung
- pip install moshi (Python 3.10 oder neuer, 3.12 empfohlen), danach lädt python -m moshi.server die Gewichte von Hugging Face und stellt unter localhost:8998 eine Web-Oberfläche bereit. Das Rust-Backend braucht die Rust-Toolchain und CUDA mit nvcc oder Metal unter macOS; Docker Compose funktioniert mit CUDA.
- Integrationen
- Eine Web-Oberfläche, Kommandozeilen-Clients in Python und Rust und eine Gradio-Demo teilen sich ein Streaming-Protokoll; rustymimi bietet Python-Bindings für den Codec Mimi; derselbe Stack betreibt Hibiki und Kyutais Streaming-Modelle für Sprache zu Text und Text zu Sprache.
- Daten und Datenschutz
- Selbst gehostet, das Audio bleibt also auf deinem Rechner, außer du aktivierst --gradio-tunnel, das den Server über eine öffentliche, über die USA geleitete URL erreichbar macht. Die Rust-Beispielkonfiguration bindet an 0.0.0.0:8998 mit einem selbstsignierten Zertifikat, und der PyTorch-Server hat keine Anmeldung. Die Gewichte stehen unter CC-BY 4.0, das eine Namensnennung verlangt.
- Kosten im großen Maßstab
- Code und Gewichte sind kostenlos; die Kosten sind GPU-Zeit, von einer Karte mit 24 GB für PyTorch bis zu einem int8-Rust-Einsatz auf CUDA. Kyutai veröffentlicht nicht, wie viele gleichzeitige Gespräche eine GPU schafft.
- Grenzen
- Nur Englisch, 24 GB VRAM für PyTorch, Sitzungen von etwa 5 Minuten mit MLX und Rust, kein offizieller Windows-Support und keine Veröffentlichung des Pretraining-Datensatzes.
Was gut ist
- Rund 200 ms Latenz Ende zu Ende auf einer L4-GPU
- Vollduplex: hört zu, während es spricht, und kommt mit Unterbrechungen zurecht
- Stacks für PyTorch, MLX und Rust plus fertiger Web-Client
- Offene Gewichte unter CC-BY 4.0; Code unter MIT und Apache 2.0
Was nicht
- Nur Englisch; eine neue Stimme oder Persona braucht Fine-Tuning
- GPU mit 24 GB für PyTorch; Karten mit 8 GB schaffen es nicht
- Sitzungen mit MLX und Rust enden nach etwa 5 Minuten
- Das Modell ist seit seiner Veröffentlichung 2024 unverändert
Am besten für
Sprachforschende und Ingenieure für Sprachschnittstellen, die ein Vollduplex-Dialogmodell auf eigenen GPUs untersuchen oder erweitern wollen.
Alternativen zu Moshi
Moshi: häufige Fragen
- Lohnt sich Moshi?
- Moshi zeigt noch immer, wie sich ein wirklich gesprächsfähiges Sprachmodell anfühlt, doch ein englischsprachiges Modell von 2024, das eine GPU mit 24 GB will, ist eine Forschungsplattform und kein Sprachagent für den Produktivbetrieb. Wir bewerten es mit 3.6 von 5.
- Was kostet Moshi?
- Kostenlos: Code unter MIT und Apache 2.0, Gewichte unter CC-BY 4.0. Keine kostenpflichtige Edition.
- Welche Nachteile hat Moshi?
- Nur Englisch; eine neue Stimme oder Persona braucht Fine-Tuning; GPU mit 24 GB für PyTorch; Karten mit 8 GB schaffen es nicht; Sitzungen mit MLX und Rust enden nach etwa 5 Minuten; Das Modell ist seit seiner Veröffentlichung 2024 unverändert.
- Für wen eignet sich Moshi?
- Sprachforschende und Ingenieure für Sprachschnittstellen, die ein Vollduplex-Dialogmodell auf eigenen GPUs untersuchen oder erweitern wollen.
- Was kostet Moshi für ein Team oder im Produktivbetrieb?
- Code und Gewichte sind kostenlos; die Kosten sind GPU-Zeit, von einer Karte mit 24 GB für PyTorch bis zu einem int8-Rust-Einsatz auf CUDA. Kyutai veröffentlicht nicht, wie viele gleichzeitige Gespräche eine GPU schafft.
- Ist Moshi sicher für Firmendaten?
- Selbst gehostet, das Audio bleibt also auf deinem Rechner, außer du aktivierst --gradio-tunnel, das den Server über eine öffentliche, über die USA geleitete URL erreichbar macht. Die Rust-Beispielkonfiguration bindet an 0.0.0.0:8998 mit einem selbstsignierten Zertifikat, und der PyTorch-Server hat keine Anmeldung. Die Gewichte stehen unter CC-BY 4.0, das eine Namensnennung verlangt.
- Was sind die besten Alternativen zu Moshi?
- Die nächsten Alternativen, die wir getestet haben, sind VibeVoice und audio.cpp.
Antworten geprüft am 14. Nov. 2026.