Speech-to-Speech-Modell
Ein Speech-to-Speech-Modell nimmt gesprochenes Audio auf und gibt direkt gesprochenes Audio aus, ohne die Sprache zuerst in Text und zurück umzuwandeln. Es wird für Sprachgespräche in Echtzeit und Übersetzung genutzt.
Auch: realtime voice, realtime API, S2S, full-duplex voice model
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Der klassische Weg, einen Sprachassistenten zu bauen, ist eine Pipeline: Speech-to-Text, dann ein Sprachmodell, dann Text-to-Speech. Jede Stufe fügt Verzögerung hinzu, und der Tonfall geht verloren, wenn Sprache auf Text reduziert wird. Ein Speech-to-Speech-Modell ersetzt die Pipeline durch ein Modell, das zuhört und spricht.
So funktioniert es
Das Moshi-Paper von Kyutai legte die Probleme von Pipelines dar: Verzögerungen von mehreren Sekunden, verlorene Emotionen und Geräusche jenseits der Sprache sowie ein starrer Sprecherwechsel, der Unterbrechungen ignoriert. Moshi stellt Audio als Tokens aus einem neuronalen Audio-Codec dar und modelliert seine eigene Sprache und die des Nutzers in parallelen Strömen, sodass es zuhören kann, während es spricht. Du kannst es aus dem Moshi-Repo ausführen. Gehostete Modelle wie GPT Live 1 werden über Realtime-APIs angeboten, die Audio in beide Richtungen streamen.
Warum es Entwickler interessiert
Geringere Latenz und die Möglichkeit zu unterbrechen lassen einen Voice Agent eher wie ein Telefonat wirken. Das Modell kann außerdem Emotionen, Lachen und Betonung hören und erzeugen.
Abwägungen
Pipelines lassen sich leichter untersuchen und steuern: Du kannst das Transkript loggen, das Sprachmodell austauschen oder Text-Guardrails anwenden. Speech-to-Speech-Modelle geben weniger Einblick in das, was zwischen Hören und Antworten passiert, und kosten meist mehr pro Minute. Viele Produkte nutzen aus diesem Grund weiterhin eine Pipeline.
Verwandte Begriffe
- Voice Agent
- Ein Voice Agent (Sprachagent) ist ein KI-Agent, der in Echtzeit ein gesprochenes Gespräch führt: Er hört einer Person zu, entscheidet, was er sagen oder tun soll, und antwortet mit einer synthetischen Stimme, oft über eine Telefonleitung oder in einer App.
- Text-to-Speech
- Text-to-Speech (TTS, Sprachsynthese) ist Software, die geschriebenen Text in gesprochenes Audio verwandelt. Modernes TTS nutzt neuronale Netze, die aus dem Text den Klang der Sprache vorhersagen und ihn dann als Wellenform ausgeben.
- Speech-to-Text
- Speech-to-Text (Spracherkennung), auch Automatic Speech Recognition (ASR) genannt, ist Software, die gesprochenes Audio in geschriebenen Text umwandelt. Sie steckt hinter Transkription, Untertiteln, Sprachbefehlen und der zuhörenden Hälfte von Voice Agents.
- Streaming (LLM-Ausgabe)
- Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
- Guardrails (KI)
- Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.