본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

컨텍스트 윈도

컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.

다른 이름: context length, max tokens, long context, 1M context

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

컨텍스트 윈도는 요청 하나에 대한 모델의 작업 기억 역할을 합니다. 모델이 학습에서 배운 것과는 별개입니다. 윈도 안에 없는 것은 모델이 볼 수 없습니다.

무엇이 포함되는가

보내는 모든 것이 포함됩니다. 시스템 프롬프트, 이전의 모든 메시지, 붙여 넣은 문서, 이미지, 도구 정의, 도구 결과입니다. 숨겨진 추론을 포함한 출력도 포함됩니다. 크기는 단어나 문자가 아니라 토큰으로 잽니다.

롱 컨텍스트

롱 컨텍스트(long context)는 매우 큰 윈도를 가진 모델을 가리킵니다. 예를 들어 Anthropic 문서는 모델에 따라 최대 1M 토큰의 컨텍스트 윈도를 제시합니다. "1M context"라는 표시는 요청 하나에 약 100만 토큰이 들어간다는 뜻입니다. 큰 코드베이스나 긴 보고서 여러 개를 담기에 충분합니다.

한계

윈도가 크다고 저절로 더 좋은 것은 아닙니다. Anthropic은 토큰 수가 늘수록 정확도와 기억이 떨어진다고 지적하며, 이를 컨텍스트 부패라고 부릅니다. 긴 프롬프트는 비용과 시간도 더 들고, 이를 담는 KV 캐시는 서버의 메모리를 씁니다. 그래서 윈도에 무엇을 넣을지 고르는 컨텍스트 엔지니어링이 윈도의 크기만큼 중요합니다.

관련 용어

토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
컨텍스트 엔지니어링
컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
컨텍스트 부패
컨텍스트 부패(context rot)는 입력이 길어질수록 언어 모델의 정확성과 신뢰성이 떨어지는 현상입니다. 입력이 여전히 컨텍스트 윈도 안에 들어가고 필요한 정보가 그 안에 있어도 일어납니다.
컨텍스트 압축
컨텍스트 압축(context compaction)은 에이전트가 컨텍스트 윈도 한도에 가까워진 대화를 요약하고, 그 요약에서 시작하는 새 윈도에서 이어 가는 단계입니다. 그래서 긴 작업을 계속할 수 있습니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.

출처