컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
다른 이름: context length, max tokens, long context, 1M context
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
컨텍스트 윈도는 요청 하나에 대한 모델의 작업 기억 역할을 합니다. 모델이 학습에서 배운 것과는 별개입니다. 윈도 안에 없는 것은 모델이 볼 수 없습니다.
무엇이 포함되는가
보내는 모든 것이 포함됩니다. 시스템 프롬프트, 이전의 모든 메시지, 붙여 넣은 문서, 이미지, 도구 정의, 도구 결과입니다. 숨겨진 추론을 포함한 출력도 포함됩니다. 크기는 단어나 문자가 아니라 토큰으로 잽니다.
롱 컨텍스트
롱 컨텍스트(long context)는 매우 큰 윈도를 가진 모델을 가리킵니다. 예를 들어 Anthropic 문서는 모델에 따라 최대 1M 토큰의 컨텍스트 윈도를 제시합니다. "1M context"라는 표시는 요청 하나에 약 100만 토큰이 들어간다는 뜻입니다. 큰 코드베이스나 긴 보고서 여러 개를 담기에 충분합니다.
한계
윈도가 크다고 저절로 더 좋은 것은 아닙니다. Anthropic은 토큰 수가 늘수록 정확도와 기억이 떨어진다고 지적하며, 이를 컨텍스트 부패라고 부릅니다. 긴 프롬프트는 비용과 시간도 더 들고, 이를 담는 KV 캐시는 서버의 메모리를 씁니다. 그래서 윈도에 무엇을 넣을지 고르는 컨텍스트 엔지니어링이 윈도의 크기만큼 중요합니다.
관련 용어
- 토큰(LLM)
- 토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 컨텍스트 엔지니어링
- 컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
- 컨텍스트 부패
- 컨텍스트 부패(context rot)는 입력 이 길어질수록 언어 모델의 정확성과 신뢰성이 떨어지는 현상입니다. 입력이 여전히 컨텍스트 윈도 안에 들어가고 필요한 정보가 그 안에 있어도 일어납니다.
- 컨텍스트 압축
- 컨텍스트 압축(context compaction)은 에이전트가 컨텍스트 윈도 한도에 가까워진 대화를 요약하고, 그 요약에서 시작하는 새 윈도에서 이어 가는 단계입니다. 그래서 긴 작업을 계속할 수 있습니다.
- 출력 토큰(Output tokens)
- 출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.