Modelo speech-to-speech
Um modelo speech-to-speech (de fala para fala) recebe áudio falado e produz áudio falado diretamente, sem converter primeiro a fala em texto e de volta. Ele é usado em conversas por voz ao vivo e em tradução.
Também chamado: realtime voice, realtime API, S2S, full-duplex voice model
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
A forma clássica de construir um assistente de voz é um pipeline: speech-to-text, depois um modelo de linguagem, depois text-to-speech. Cada etapa adiciona atraso, e o tom de voz se perde quando a fala é reduzida a texto. Um modelo speech-to-speech substitui o pipeline por um único modelo que ouve e fala.
Como funciona
O artigo do Moshi, da Kyutai, expôs os problemas dos pipelines: atrasos de vários segundos, perda de emoção e de sons que não são fala, e uma troca de turnos rígida que ignora interrupções. O Moshi representa o áudio como tokens de um codec de áudio neural e modela a própria fala e a do usuário em fluxos paralelos, então consegue ouvir enquanto fala. Você pode rodá-lo a partir do repositório do Moshi. Modelos hospedados como o GPT Live 1 são oferecidos por APIs em tempo real que transmitem áudio nos dois sentidos.
Por que interessa a quem constrói
Latência menor e a possibilidade de interromper fazem um voice agent parecer mais uma ligação telefônica. O modelo também consegue ouvir e produzir emoção, risadas e ênfase.
Prós e contras
Pipelines são mais fáceis de inspecionar e controlar: você pode registrar a transcrição, trocar o modelo de linguagem ou aplicar guardrails de texto. Modelos speech-to-speech dão menos visibilidade sobre o que acontece entre ouvir e responder, e tendem a custar mais por minuto. Muitos produtos ainda usam um pipeline por esse motivo.
Termos relacionados
- Voice agent
- Um voice agent (agente de voz) é um agente de IA que mantém uma conversa falada em tempo real, ouvindo uma pessoa, decidindo o que dizer ou fazer e respondendo com uma voz sintética, muitas vezes por uma linha telefônica ou em um app.
- Text-to-speech
- Text-to-speech (TTS, texto para fala) é um software que transforma texto escrito em áudio falado. O TTS moderno usa redes neurais que preveem o som da fala a partir do texto e depois o renderizam como forma de onda.
- Speech-to-text
- Speech-to-text (fala para texto), também chamado de reconhecimento automático de fala (ASR), é um software que converte áudio falado em texto escrito. Ele está por trás de transcrições, legendas, comandos de voz e da parte que escuta nos voice agents.
- Streaming (saída de LLM)
- O streaming envia a saída de um LLM ao cliente aos poucos, conforme os tokens são gerados, em vez de esperar a resposta completa. Os usuários veem o texto aparecer em instantes, mesmo quando a resposta inteira demora bem mais.
- Time to first token
- Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
- Guardrails (IA)
- Guardrails (barreiras de proteção) são verificações em tempo de execução colocadas ao redor de um modelo de linguagem que inspecionam entradas e saídas e as bloqueiam, reescrevem ou redirecionam, para que uma aplicação se mantenha no assunto, evite conteúdo nocivo e siga regras que o modelo sozinho não cumpriria de forma confiável.