Modèle speech-to-speech
Un modèle speech-to-speech (parole à parole) reçoit de l'audio parlé et produit directement de l'audio parlé, sans convertir d'abord la parole en texte puis l'inverse. Il sert à la conversation vocale en direct et à la traduction.
Aussi appelé : realtime voice, realtime API, S2S, full-duplex voice model
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
La façon classique de construire un assistant vocal est un pipeline : speech-to-text, puis un modèle de langage, puis text-to-speech. Chaque étape ajoute du délai, et le ton de la voix se perd quand la parole est réduite à du texte. Un modèle speech-to-speech remplace le pipeline par un seul modèle qui écoute et parle.
Comment ça marche
L'article sur Moshi de Kyutai a exposé les problèmes des pipelines : des délais de plusieurs secondes, la perte des émotions et des sons non verbaux, et une alternance stricte des tours de parole qui ignore les interruptions. Moshi représente l'audio sous forme de tokens issus d'un codec audio neuronal et modélise sa propre parole et celle de l'utilisateur dans des flux parallèles, si bien qu'il peut écouter tout en parlant. Vous pouvez le lancer depuis le dépôt Moshi. Des modèles hébergés comme GPT Live 1 sont proposés via des API temps réel qui diffusent l'audio dans les deux sens.
Pourquoi les développeurs s'y intéressent
Une latence plus faible et la possibilité d'interrompre donnent à un agent vocal davantage l'allure d'un appel téléphonique. Le modèle peut aussi percevoir et produire des émotions, des rires et des intonations d'insistance.
Compromis
Les pipelines sont plus faciles à inspecter et à contrôler : vous pouvez journaliser la transcription, changer de modèle de langage ou appliquer des garde-fous sur le texte. Les modèles speech-to-speech offrent moins de visibilité sur ce qui se passe entre l'écoute et la réponse, et ils coûtent généralement plus cher à la minute. Beaucoup de produits utilisent encore un pipeline pour cette raison.
Termes liés
- Agent vocal
- Un agent vocal (voice agent) est un agent d'IA qui tient une conversation orale en temps réel : il écoute une personne, décide quoi dire ou faire et répond avec une voix de synthèse, souvent sur une ligne téléphonique ou dans une application.
- Text-to-speech
- Le text-to-speech (TTS, synthèse vocale) est un logiciel qui transforme un texte écrit en audio parlé. La TTS moderne utilise des réseaux de neurones qui prédisent le son de la parole à partir du texte, puis le restituent sous forme d'onde sonore.
- Speech-to-text
- Le speech-to-text (transcription de la parole), aussi appelé reconnaissance automatique de la parole (ASR), est un logiciel qui convertit l'audio parlé en texte écrit. Il alimente la transcription, les sous-titres, les commandes vocales et la partie écoute des agents vocaux.
- Streaming (sortie de LLM)
- Le streaming envoie la sortie d'un LLM au client morceau par morceau, à mesure que les tokens sont générés, au lieu d'attendre la réponse complète. Les utilisateurs voient le texte apparaître en quelques instants, même quand la réponse complète prend bien plus longtemps.
- Time to first token
- Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.
- Garde-fous (IA)
- Les garde-fous (guardrails) sont des contrôles exécutés autour d'un modèle de langage qui inspectent les entrées et les sorties et les bloquent, les réécrivent ou les redirigent, afin qu'une application reste dans son sujet, évite les contenus nuisibles et respecte des règles que le modèle seul ne tiendrait pas de façon fiable.