추론 모델(Reasoning model)
추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
다른 이름: thinking model, extended thinking
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
추론 모델은 답할 때 추가 연산을 씁니다. 이를 테스트 타임 컴퓨트라고 합니다. 바로 답하는 대신 모델은 풀이 과정을 써 내려가고, 단계를 확인하고, 방향을 바꾼 뒤 답합니다.
학습 방식
이 동작은 chain-of-thought 프롬프팅에서 나왔지만, 추론 모델은 이를 위해 학습되며, 흔히 답을 확인할 수 있는 과제에서 강화 학습을 씁니다. DeepSeek의 R1 논문은 순수한 강화 학습만으로 추론 능력을 끌어낼 수 있으며, 학습 중에 자기 성찰과 검증 같은 패턴이 나타난다고 보고합니다.
확장 사고
제공업체마다 추론을 노출하는 방식이 다릅니다. Anthropic은 자사 버전을 extended thinking(확장 사고)이라고 부릅니다. 수동 모드에서는 budget_tokens 설정으로 Claude가 내부 추론에 쓸 수 있는 토큰 수의 목표치를 정하며, Anthropic 문서는 모델이 얼마나 생각할지 스스로 정하는 더 새로운 adaptive thinking 모드를 권장합니다.
비용과 한계
생각 토큰은 보통 출력 토큰으로 청구되므로, 추론 모델은 일반 모델보다 요청당 비용이 훨씬 많이 들고 응답도 오래 걸릴 수 있습니다. 토큰 가격을 참고하십시오. 간단한 조회, 재작성, 분류에는 비추론 모델이 더 빠르면서 똑같이 정확한 경우가 많습니다. 눈에 보이는 추론이 모델이 답에 이른 과정을 정확히 보여 준다는 보장은 없 습니다.
관련 용어
- 사고의 사슬(Chain-of-thought)
- 사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- 테 스트 타임 컴퓨트(Test-time compute)
- 테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
- 출력 토큰(Output tokens)
- 출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.