본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

추론 모델(Reasoning model)

추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.

다른 이름: thinking model, extended thinking

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

추론 모델은 답할 때 추가 연산을 씁니다. 이를 테스트 타임 컴퓨트라고 합니다. 바로 답하는 대신 모델은 풀이 과정을 써 내려가고, 단계를 확인하고, 방향을 바꾼 뒤 답합니다.

학습 방식

이 동작은 chain-of-thought 프롬프팅에서 나왔지만, 추론 모델은 이를 위해 학습되며, 흔히 답을 확인할 수 있는 과제에서 강화 학습을 씁니다. DeepSeek의 R1 논문은 순수한 강화 학습만으로 추론 능력을 끌어낼 수 있으며, 학습 중에 자기 성찰과 검증 같은 패턴이 나타난다고 보고합니다.

확장 사고

제공업체마다 추론을 노출하는 방식이 다릅니다. Anthropic은 자사 버전을 extended thinking(확장 사고)이라고 부릅니다. 수동 모드에서는 budget_tokens 설정으로 Claude가 내부 추론에 쓸 수 있는 토큰 수의 목표치를 정하며, Anthropic 문서는 모델이 얼마나 생각할지 스스로 정하는 더 새로운 adaptive thinking 모드를 권장합니다.

비용과 한계

생각 토큰은 보통 출력 토큰으로 청구되므로, 추론 모델은 일반 모델보다 요청당 비용이 훨씬 많이 들고 응답도 오래 걸릴 수 있습니다. 토큰 가격을 참고하십시오. 간단한 조회, 재작성, 분류에는 비추론 모델이 더 빠르면서 똑같이 정확한 경우가 많습니다. 눈에 보이는 추론이 모델이 답에 이른 과정을 정확히 보여 준다는 보장은 없습니다.

관련 용어

사고의 사슬(Chain-of-thought)
사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
테스트 타임 컴퓨트(Test-time compute)
테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.

출처