Modelo speech-to-speech
Un modelo speech-to-speech (de voz a voz) recibe audio hablado y produce audio hablado directamente, sin convertir antes la voz en texto y de vuelta. Se usa para conversación por voz en directo y para traducción.
También llamado: realtime voice, realtime API, S2S, full-duplex voice model
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
La forma clásica de construir un asistente de voz es una cadena: speech-to-text, luego un modelo de lenguaje y luego text-to-speech. Cada etapa añade retraso, y el tono de voz se pierde cuando el habla se reduce a texto. Un modelo speech-to-speech sustituye la cadena por un solo modelo que escucha y habla.
Cómo funciona
El artículo de Moshi de Kyutai expuso los problemas de las cadenas: retrasos de varios segundos, pérdida de emoción y de sonidos que no son habla, y turnos de palabra rígidos que ignoran las interrupciones. Moshi representa el audio como tokens de un códec de audio neuronal y modela su propia voz y la del usuario en flujos paralelos, de modo que puede escuchar mientras habla. Puedes ejecutarlo desde el repositorio de Moshi. Modelos alojados como GPT Live 1 se ofrecen mediante API en tiempo real que transmiten audio en ambos sentidos.
Por qué importa a los desarrolladores
Una latencia menor y la posibilidad de interrumpir hacen que un agente de voz se parezca más a una llamada telefónica. El modelo también puede oír y producir emoción, risa y énfasis.
Contrapartidas
Las cadenas son más fáciles de inspeccionar y controlar: puedes registrar la transcripción, cambiar el modelo de lenguaje o aplicar guardrails de texto. Los modelos speech-to-speech dan menos visibilidad de lo que ocurre entre oír y responder, y suelen costar más por minuto. Por eso muchos productos siguen usando una cadena.
Términos relacionados
- Agente de voz
- Un agente de voz (voice agent) es un agente de IA que mantiene una conversación hablada en tiempo real: escucha a una persona, decide qué decir o hacer y responde con una voz sintética, a menudo por una línea telefónica o en una app.
- Text-to-speech
- El text-to-speech (TTS, texto a voz) es software que convierte texto escrito en audio hablado. El TTS moderno usa redes neuronales que predicen el sonido del habla a partir del texto y luego lo generan como forma de onda.
- Speech-to-text
- El speech-to-text (voz a texto), también llamado reconocimiento automático del habla (ASR), es software que convierte audio hablado en texto escrito. Está detrás de la transcripción, los subtítulos, los comandos de voz y la parte que escucha en los agentes de voz.
- Streaming (salida de LLM)
- El streaming envía la salida de un LLM al cliente fragmento a fragmento a medida que se generan los tokens, en lugar de esperar a la respuesta completa. Los usuarios ven aparecer texto en unos instantes, aunque la respuesta completa tarde mucho más.
- Tiempo hasta el primer token
- El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
- Guardrails (IA)
- Los guardrails (barreras de protección) son comprobaciones en tiempo de ejecución colocadas alrededor de un modelo de lenguaje que inspeccionan entradas y salidas y las bloquean, reescriben o redirigen, para que una aplicación no se salga del tema, evite contenido dañino y cumpla reglas que el modelo por sí solo no mantendría de forma fiable.