Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Modelo speech-to-speech

Um modelo speech-to-speech (de fala para fala) recebe áudio falado e produz áudio falado diretamente, sem converter primeiro a fala em texto e de volta. Ele é usado em conversas por voz ao vivo e em tradução.

Também chamado: realtime voice, realtime API, S2S, full-duplex voice model

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

A forma clássica de construir um assistente de voz é um pipeline: speech-to-text, depois um modelo de linguagem, depois text-to-speech. Cada etapa adiciona atraso, e o tom de voz se perde quando a fala é reduzida a texto. Um modelo speech-to-speech substitui o pipeline por um único modelo que ouve e fala.

Como funciona

O artigo do Moshi, da Kyutai, expôs os problemas dos pipelines: atrasos de vários segundos, perda de emoção e de sons que não são fala, e uma troca de turnos rígida que ignora interrupções. O Moshi representa o áudio como tokens de um codec de áudio neural e modela a própria fala e a do usuário em fluxos paralelos, então consegue ouvir enquanto fala. Você pode rodá-lo a partir do repositório do Moshi. Modelos hospedados como o GPT Live 1 são oferecidos por APIs em tempo real que transmitem áudio nos dois sentidos.

Por que interessa a quem constrói

Latência menor e a possibilidade de interromper fazem um voice agent parecer mais uma ligação telefônica. O modelo também consegue ouvir e produzir emoção, risadas e ênfase.

Prós e contras

Pipelines são mais fáceis de inspecionar e controlar: você pode registrar a transcrição, trocar o modelo de linguagem ou aplicar guardrails de texto. Modelos speech-to-speech dão menos visibilidade sobre o que acontece entre ouvir e responder, e tendem a custar mais por minuto. Muitos produtos ainda usam um pipeline por esse motivo.

Termos relacionados

Voice agent
Um voice agent (agente de voz) é um agente de IA que mantém uma conversa falada em tempo real, ouvindo uma pessoa, decidindo o que dizer ou fazer e respondendo com uma voz sintética, muitas vezes por uma linha telefônica ou em um app.
Text-to-speech
Text-to-speech (TTS, texto para fala) é um software que transforma texto escrito em áudio falado. O TTS moderno usa redes neurais que preveem o som da fala a partir do texto e depois o renderizam como forma de onda.
Speech-to-text
Speech-to-text (fala para texto), também chamado de reconhecimento automático de fala (ASR), é um software que converte áudio falado em texto escrito. Ele está por trás de transcrições, legendas, comandos de voz e da parte que escuta nos voice agents.
Streaming (saída de LLM)
O streaming envia a saída de um LLM ao cliente aos poucos, conforme os tokens são gerados, em vez de esperar a resposta completa. Os usuários veem o texto aparecer em instantes, mesmo quando a resposta inteira demora bem mais.
Time to first token
Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
Guardrails (IA)
Guardrails (barreiras de proteção) são verificações em tempo de execução colocadas ao redor de um modelo de linguagem que inspecionam entradas e saídas e as bloqueiam, reescrevem ou redirecionam, para que uma aplicação se mantenha no assunto, evite conteúdo nocivo e siga regras que o modelo sozinho não cumpriria de forma confiável.

Fontes