스트리밍(LLM 출력)
스트리밍(streaming)은 전체 응답을 기다리지 않고, 토큰이 생성되는 대로 LLM의 출력을 조금씩 클라이언트에 보내는 방식입니다. 완전한 답이 훨씬 오래 걸려도 사용자는 곧바로 텍스트가 나타나는 것을 봅니다.
다른 이름: token streaming, streaming responses, server-sent events, SSE
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
언어 모델은 토큰을 하나씩 생성합니다. 긴 답은 끝나는 데 몇 초씩 걸릴 수 있고, 스트리밍이 없으면 사용자는 그동안 로딩 표시만 바라봅니다. 스트리밍을 쓰면 첫 단어가 만들어지자마자 도착하므로, 전체 시간은 같아도 앱이 빠르게 느껴집니다.
작동 방식
요청에 `"stream": true` 같은 플래그를 설정합니다. 제공업체는 HTTP 연결을 열어 둔 채 작은 이벤트를 연달아 보내며, 보통 server-sent events(SSE) 형식이고 이벤트마다 다음 텍스트 조각이 담겨 있습니다. 별도의 이벤트가 메시지의 시작과 끝을 표시하며, 일부 API는 도구 호출과 추론도 스트리밍합니다. 공식 SDK가 조각을 대신 모아 줍니다. OpenAI 호환 API를 제공하는 셀프 호스팅 서버 대부분이 같은 패턴을 지원합니다.
달라지는 것
스트리밍 응답은 두 수치로 설명됩니다. 사용자가 반응성으로 체감하는 첫 토큰까지의 시간, 그리고 나머지가 얼마나 빨리 도착하는지 정하는 초당 토큰 수입니다. 스트리밍은 두 번째를 바꾸지 않고 첫 번째를 개선합니다.
처리해야 할 것
인터페이스는 부분 텍스트에 대처해야 합니다. 반쯤 쓰인 markdown을 렌더링하고, 중간에 끊긴 연결을 처리해야 합니다. 이미 텍스트를 보여 준 뒤에 스트림 중간에 오류가 올 수도 있습니다. JSON 같은 구조화된 출력이 필요하다면 끝까지 기다렸다가 파싱하거나, 부분 입력을 받아들이는 파서를 써야 합니다. 답 전체를 확인하는 콘텐츠 필터와 가드레일은 텍스트가 이미 화면에 나와 있을 때 적용하기가 더 어렵습니다.
관련 용어
- 첫 토큰까지의 시간(Time to first token)
- 첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
- 초당 토큰 수(Tokens per second)
- 초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
- 출력 토큰(Output tokens)
- 출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
- OpenAI 호환 API(OpenAI-compatible API)
- OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.
- 구조화된 출력(Structured output)
- 구조화된 출력(structured output)은 언어 모델의 응답이 직접 정의한 형식, 보통 JSON schema를 따르게 하는 API 기능입니다. 그래서 코드가 자유 텍스트를 긁어내는 대신 응답을 안정적으로 파싱할 수 있습니다.