본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

컨텍스트 부패

컨텍스트 부패(context rot)는 입력이 길어질수록 언어 모델의 정확성과 신뢰성이 떨어지는 현상입니다. 입력이 여전히 컨텍스트 윈도 안에 들어가고 필요한 정보가 그 안에 있어도 일어납니다.

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

큰 컨텍스트 윈도는 모델이 텍스트를 얼마나 받아들이는지 알려 줄 뿐, 그것을 얼마나 잘 쓰는지 알려 주지는 않습니다. 컨텍스트 부패는 그 둘 사이의 차이입니다. 프롬프트가 길어질수록 모델은 사실을 놓치고, 비슷한 구절을 혼동하고, 지시를 덜 정확하게 따릅니다.

근거

Chroma의 2025년 7월 보고서는 GPT-4.1, Claude 4, Gemini 2.5, Qwen3를 포함한 18개 모델을 시험했고, 모든 실험에서 입력 길이가 늘수록 성능이 떨어졌으며 그 양상이 고르지 않고 예상 밖인 경우가 많았다고 밝혔습니다. 모델이 문장 하나만 찾으면 되는 단순한 needle-in-a-haystack 시험은 이런 현상의 상당 부분을 가립니다. 실제 작업에서는 모델이 찾은 내용을 바탕으로 추론하고 비슷하게 생긴 방해 요소를 무시해야 하기 때문입니다.

에이전트에게 중요한 이유

에이전트는 도구 출력, 파일 내용, 이전 턴을 쌓아 가므로 컨텍스트가 저절로 늘어납니다. 어느 지점을 넘으면 컨텍스트가 많을수록 에이전트가 더 나빠집니다. 이것이 컨텍스트 엔지니어링이 필요한 주된 이유입니다. 다음 단계에 필요한 것만 윈도에 넣으십시오.

줄이는 방법

문서 전체를 붙여 넣는 대신 검색 증강 생성으로 관련 구절 몇 개만 검색하십시오. 긴 기록은 컨텍스트 압축으로 요약하십시오. 부수적인 작업은 서브에이전트에게 넘겨 그 출력이 메인 스레드에 닿지 않게 하십시오. 가장 중요한 지시는 모델이 분명히 볼 수 있는 곳에 두고, 저하 정도는 모델과 작업마다 다르므로 실제로 쓰는 컨텍스트 크기에서 자신의 작업을 시험해 보십시오.

관련 용어

컨텍스트 압축
컨텍스트 압축(context compaction)은 에이전트가 컨텍스트 윈도 한도에 가까워진 대화를 요약하고, 그 요약에서 시작하는 새 윈도에서 이어 가는 단계입니다. 그래서 긴 작업을 계속할 수 있습니다.
컨텍스트 엔지니어링
컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
컨텍스트 윈도
컨텍스트 윈도(context window)는 언어 모델이 한 번에 고려할 수 있는 텍스트의 최대량으로, 토큰 단위로 셉니다. 시스템 프롬프트, 대화, 문서, 도구 결과, 모델이 쓰는 응답이 모두 포함됩니다.
검색 증강 생성(Retrieval-augmented generation)
검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
에이전트 메모리
에이전트 메모리(agent memory)는 사용자에 관한 사실이나 과거 작업처럼 AI 에이전트가 하나의 컨텍스트 윈도를 넘어서는 정보를 유지하게 해 주는 기법들입니다. 정보를 모델 밖에 저장했다가 필요할 때 다시 불러옵니다.

출처