테스트 타임 컴퓨트(Test-time compute)
테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
다른 이름: reasoning effort, thinking budget, inference-time compute, inference-time scaling
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
오랫동안 더 나은 모델을 얻는 주된 방법은 더 큰 모델을 더 오래 학습시키는 것이었습니다. 테스트 타임 컴퓨트는 다른 수단입니다. 모델은 그대로 두고 질문마다 더 많은 일을 하게 합니다. 추론 모델처럼 답하기 전에 추론을 써 내려가거나, 여러 답을 샘플링해 가장 좋은 것을 고르거나, 검증기로 답을 확인하는 방법이 있습니다.
연구가 보여 주는 것
Snell 등의 2024년 논문은 추론 시점의 추가 연산이 얼마나 도움이 되는지 연구했습니다. 이를 쓰는 최선의 방법은 프롬프트의 난이도에 달려 있으며, 일부 문제에서는 테스트 타임 컴퓨트를 더 쓴 작은 모델이 훨씬 큰 모델을 이길 수 있다는 것을 발견했습니다. 추가적인 생각은 수학, 코딩, 여러 단계로 된 문제에서 가장 도움이 되고, 간단한 조회에서는 거의 도움이 되지 않는 경향이 있습니다.
추론 노력과 사고 예산
API는 이를 설정으로 노출합니다. Anthropic의 수동 extended thinking 모드는 Claude가 추론에 쓸 수 있는 토큰 수로 budget_tokens 값을 썼고, 더 새로운 Claude 모델은 대신 effort 설정을 씁니다. 다른 제공업체도 비슷한 낮음, 중간, 높음 추론 노력 옵션을 제공합니다. 문서에서 보게 될 "reasoning effort"와 "thinking budget"이라는 이름이 이것입니다.
비용
생각 토큰은 보통 출력 토큰으로 청구되므로, 테스트 타임 컴퓨트를 늘리면 토큰 가격 기준으로 요청당 비용이 오르고 답이 느려지며, 보이는 텍스트의 첫 토큰까지의 시간도 길어집니다. 작업마다 노력 수준을 정하십시오. 일상적인 요청에는 낮게, 테스트에서 도움이 된다고 확인된 곳에만 높게 두십시오. 가격 비교는 AI 모델 가격 조사를 참고하십시오.
chain-of-thought와의 차이
Chain-of-thought는 모델에게 단계를 보여 주도록 프롬프팅하는 하나의 기법입니다. 테스트 타임 컴퓨트는 더 넓은 예산이며, chain-of-thought는 그 예산을 쓰는 방법 중 하나입니다.
관련 용어
- 추론 모델(Reasoning model)
- 추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
- 사고의 사슬(Chain-of-thought)
- 사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- 출력 토큰(Output tokens)
- 출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
- 첫 토큰까지의 시간(Time to first token)
- 첫 토큰까지의 시간(time to first token, TTFT)은 사용자가 언어 모델에 요청을 보낸 뒤 응답의 첫 토큰을 받기까지 기다리는 시간으로, 대기열, 프롬프트 처리, 네트워크 시간을 포함합니다.