추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
다른 이름: model inference
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
학습은 모델 의 가중치를 정하고, 추론은 그 가중치를 씁니다. 대규모 언어 모델에서 추론은 프롬프트를 받아 토큰으로 나누고, 모델이 멈추거나 길이 한도에 이를 때까지 다음 토큰을 예측해 다시 넣기를 반복하는 것을 뜻합니다.
두 단계
LLM 추론에는 프리필(prefill) 단계와 디코드(decode) 단계가 있습니다. 프리필은 프롬프트 전체를 한 번에 읽고 KV 캐시를 만들며, 첫 토큰까지의 시간을 결정합니다. 그다음 디코드가 단계마다 토큰 하나를 만들며, 그 속도는 초당 토큰 수로 잽니다. 프리필은 주로 연산 능력에, 디코드는 주로 GPU가 메모리에서 가중치를 얼마나 빨리 읽는지에 제한됩니다.
개발자에게 중요한 이유
학습은 한 번 일어나지만 추론은 요청마다 일어나므로, 대개 AI 제품 운영 비용의 대부분을 차지합니다. 추론 제공업체에게서 토큰 단위로 살 수도 있고, vLLM 같은 모델 서빙 엔진으로 직접 실행할 수도 있습니다. 양자화, 배칭, 추측 디코딩 같은 선택은 속도, 비용, 품질을 서로 맞바꿉니다. 추론 서빙 가이드에서 선택지를 비교합니다.
논리적 추론과는 다르다
여기서 "inference"는 모델을 실행한다는 뜻의 엔지니어링 용어입니다. 모델이 논리적 추론을 한다는 뜻이 아닙니다. 추론 모델(reasoning model)은 답마다 더 많은 추론 연산을 쓰며, 이를 테스트 타임 컴퓨트라고 부릅니다.
관련 용어
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- 첫 토큰까지의 시간(Time to first token)
- 첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.
- 초당 토큰 수(Tokens per second)
- 초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 추론 제공업체
- 추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.