Agent vocal
Un agent vocal (voice agent) est un agent d'IA qui tient une conversation orale en temps réel : il écoute une personne, décide quoi dire ou faire et répond avec une voix de synthèse, souvent sur une ligne téléphonique ou dans une application.
Aussi appelé : voice AI agent
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les agents vocaux répondent aux lignes de support, prennent des rendez-vous, qualifient des prospects commerciaux et servent d'assistants mains libres. On les juge moins sur ce qu'ils savent que sur le naturel de la conversation : réponses rapides, pas de chevauchement avec l'appelant, et reprise en douceur quand on les interrompt.
Comment ça marche
La conception courante est un pipeline de trois modèles. Le speech-to-text transforme l'audio de l'appelant en mots, un modèle de langage décide de la réponse et appelle les outils nécessaires, et le text-to-speech prononce la réponse. Chaque étape fonctionne en streaming, si bien que la voix peut commencer avant que la réponse complète soit écrite. La conception plus récente utilise un seul modèle speech-to-speech qui reçoit de l'audio et produit de l'audio, ce qui peut réduire le délai et préserver le ton de la voix, au prix d'un contrôle moindre sur chaque étape.
Autour des modèles se trouvent les parties difficiles : la détection de fin de tour pour savoir quand l'appelant a fini, la gestion du barge-in quand il interrompt, la téléphonie, et les appels d'outils vers des agendas ou des CRM. Des frameworks comme LiveKit Agents et des plateformes comme Vapi et Retell AI rassemblent ces éléments.
Pourquoi la latence compte
Les gens remarquent bien plus les pauses à l'oral qu'à l'écrit. Chaque étape ajoute du délai, si bien que les développeurs suivent le time to first token du modèle et le délai avant le premier son de la voix.
Limites
Le bruit de fond, les accents et les conversations croisées provoquent des erreurs de transcription dont hérite le reste du pipeline. Dans de nombreux endroits, des règles imposent d'indiquer à l'appelant qu'il parle à une IA et encadrent l'enregistrement des appels ; vérifiez la loi là où vous opérez.
Termes liés
- Modèle speech-to-speech
- Un modèle speech-to-speech (parole à parole) reçoit de l'audio parlé et produit directement de l'audio parlé, sans convertir d'abord la parole en texte puis l'inverse. Il sert à la conversation vocale en direct et à la traduction.
- Text-to-speech
- Le text-to-speech (TTS, synthèse vocale) est un logiciel qui transforme un texte écrit en audio parlé. La TTS moderne utilise des réseaux de neurones qui prédisent le son de la parole à partir du texte, puis le restituent sous forme d'onde sonore.
- Speech-to-text
- Le speech-to-text (transcription de la parole), aussi appelé reconnaissance automatique de la parole (ASR), est un logiciel qui convertit l'audio parlé en texte écrit. Il alimente la transcription, les sous-titres, les commandes vocales et la partie écoute des agents vocaux.
- Agent IA
- Un agent IA est un système dans lequel un modèle de langage décide lui-même de ses prochaines étapes : il appelle des outils, lit les résultats et recommence jusqu'à ce que la tâche soit terminée, au lieu de suivre un script fixe.
- Time to first token
- Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.
- Clonage vocal
- Le clonage vocal (voice cloning) consiste à utiliser l'IA pour faire parler un système de text-to-speech avec la voix d'une personne précise, apprise à partir d'un enregistrement de cette personne. Certains systèmes n'ont besoin que d'un court échantillon.