본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

테스트 타임 컴퓨트(Test-time compute)

테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.

다른 이름: reasoning effort, thinking budget, inference-time compute, inference-time scaling

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

오랫동안 더 나은 모델을 얻는 주된 방법은 더 큰 모델을 더 오래 학습시키는 것이었습니다. 테스트 타임 컴퓨트는 다른 수단입니다. 모델은 그대로 두고 질문마다 더 많은 일을 하게 합니다. 추론 모델처럼 답하기 전에 추론을 써 내려가거나, 여러 답을 샘플링해 가장 좋은 것을 고르거나, 검증기로 답을 확인하는 방법이 있습니다.

연구가 보여 주는 것

Snell 등의 2024년 논문은 추론 시점의 추가 연산이 얼마나 도움이 되는지 연구했습니다. 이를 쓰는 최선의 방법은 프롬프트의 난이도에 달려 있으며, 일부 문제에서는 테스트 타임 컴퓨트를 더 쓴 작은 모델이 훨씬 큰 모델을 이길 수 있다는 것을 발견했습니다. 추가적인 생각은 수학, 코딩, 여러 단계로 된 문제에서 가장 도움이 되고, 간단한 조회에서는 거의 도움이 되지 않는 경향이 있습니다.

추론 노력과 사고 예산

API는 이를 설정으로 노출합니다. Anthropic의 수동 extended thinking 모드는 Claude가 추론에 쓸 수 있는 토큰 수로 budget_tokens 값을 썼고, 더 새로운 Claude 모델은 대신 effort 설정을 씁니다. 다른 제공업체도 비슷한 낮음, 중간, 높음 추론 노력 옵션을 제공합니다. 문서에서 보게 될 "reasoning effort"와 "thinking budget"이라는 이름이 이것입니다.

비용

생각 토큰은 보통 출력 토큰으로 청구되므로, 테스트 타임 컴퓨트를 늘리면 토큰 가격 기준으로 요청당 비용이 오르고 답이 느려지며, 보이는 텍스트의 첫 토큰까지의 시간도 길어집니다. 작업마다 노력 수준을 정하십시오. 일상적인 요청에는 낮게, 테스트에서 도움이 된다고 확인된 곳에만 높게 두십시오. 가격 비교는 AI 모델 가격 조사를 참고하십시오.

chain-of-thought와의 차이

Chain-of-thought는 모델에게 단계를 보여 주도록 프롬프팅하는 하나의 기법입니다. 테스트 타임 컴퓨트는 더 넓은 예산이며, chain-of-thought는 그 예산을 쓰는 방법 중 하나입니다.

관련 용어

추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
사고의 사슬(Chain-of-thought)
사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
첫 토큰까지의 시간(Time to first token)
첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.

출처