Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Streaming (saída de LLM)

O streaming envia a saída de um LLM ao cliente aos poucos, conforme os tokens são gerados, em vez de esperar a resposta completa. Os usuários veem o texto aparecer em instantes, mesmo quando a resposta inteira demora bem mais.

Também chamado: token streaming, streaming responses, server-sent events, SSE

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Modelos de linguagem geram um token por vez. Uma resposta longa pode levar muitos segundos para terminar, e sem streaming o usuário fica olhando um indicador de carregamento o tempo todo. Com streaming, as primeiras palavras chegam assim que existem, então o app parece rápido mesmo que o tempo total seja o mesmo.

Como funciona

Você define uma flag como `"stream": true` na requisição. O provedor mantém a conexão HTTP aberta e envia uma sequência de pequenos eventos, geralmente como server-sent events (SSE), cada um levando o próximo fragmento de texto. Eventos separados marcam o início e o fim da mensagem, e algumas APIs também transmitem chamadas de ferramentas e raciocínio. Os SDKs oficiais juntam os fragmentos para você. A maioria dos servidores self-hosted que oferecem uma API compatível com a OpenAI suporta o mesmo padrão.

O que muda

Dois números descrevem uma resposta em streaming: o time to first token, que é o que os usuários percebem como responsividade, e os tokens por segundo, que definem a rapidez com que o resto chega. O streaming melhora o primeiro sem mudar o segundo.

O que tratar

Sua interface precisa lidar com texto parcial: renderizar markdown escrito pela metade e tratar uma conexão que cai no meio. Erros podem chegar no meio de um stream depois que você já mostrou texto. Se você precisa de structured output como JSON, ou espera o fim para processá-lo ou usa um parser que aceite entrada parcial. Filtros de conteúdo e guardrails que verificam a resposta inteira são mais difíceis de aplicar quando o texto já está na tela.

Termos relacionados

Time to first token
Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
Tokens de saída
Tokens de saída (output tokens) são os tokens que um modelo de linguagem gera na resposta. Eles são contados e cobrados separadamente dos tokens de entrada, e uma configuração max_tokens limita quantos uma resposta pode conter.
API compatível com a OpenAI
Uma API compatível com a OpenAI (OpenAI-compatible API) é um endpoint de outro provedor ou ferramenta que aceita o mesmo formato de requisição e resposta da API da OpenAI, então o código escrito para a OpenAI pode mudar para ela trocando a URL base, a chave e o nome do modelo.
Structured output
Structured output (saída estruturada) é um recurso de API que faz a resposta de um modelo de linguagem seguir um formato que você define, geralmente um JSON schema, para que o código possa processá-la com confiabilidade em vez de garimpar texto livre.

Fontes