사고의 사슬(Chain-of-thought)
사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
다른 이름: CoT, chain-of-thought prompting, Zero-shot-CoT
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델에게 답을 바로 묻는 대신, chain-of-thought 프롬프트는 모델이 문제를 단계별로 풀게 합니다. 사람이 계산 과정을 적어 나가듯, 각 단계가 모델이 이어서 쌓아 갈 수 있는 텍스트가 됩니다.
기원
Wei 등의 2022년 논문은 풀이 과정을 담은 예시 몇 개를 주는 것, 즉 퓨샷 프롬프팅의 한 형태가 대형 모델의 산술, 상식, 기호 추론 과제 성능을 높인다는 것을 보여 주었습니다. 뒤이어 Kojima 등의 논문은 "Let's think step by step"(단계별로 생각해 봅시다)이라는 문장만 더해도 예시 없이 비슷한 효과를 낼 수 있음을 발견하고, 이를 Zero-shot-CoT라고 불렀습니다(제로샷 참고).
예시
"가게에서 펜을 3개에 2달러에 판다. 펜 12개는 얼마인가?"라는 질문에, chain-of-thought를 요청받은 모델은 이렇게 쓸 수 있습니다. 펜 12개는 3개짜리 묶음 4개이고, 묶음 하나가 2달러이므로 합계는 8달러입니다. 단계를 보면 실수를 찾기도 더 쉽습니다.
추론 모델과의 관계
추론 모델은 답하기 전에 긴 추론을 생성하도록 학습되므로, 더 이상 프롬프트에서 이를 요청할 필요가 없습니다. 이는 테스트 타임 컴퓨트의 한 형태입니다. 답하는 시점에 토큰을 더 써서 더 나은 결과를 얻는 것입니다.
한계
추론 단계는 출력 토큰을 늘려 비용과 지연 시간을 높입니다. 적힌 단계가 모델이 답에 이른 과정을 그대로 기록한다는 보장은 없으며, 자신감 있는 사슬도 틀린 결과로 끝날 수 있습니다. 단순 조회나 짧은 분류에서는 큰 이득 없이 비용만 더하는 경우가 많습니다.
관련 용어
- 추론 모델(Reasoning model)
- 추론 모델(reasoning model)은 최종 답을 내기 전에 중간 생각 토큰의 흐름으로 문제를 풀어 나가도록 학습된 언어 모델로, 수학, 코딩, 여러 단계로 된 작업에 도움이 되는 경향이 있습니다.
- 프롬프트 엔지니어링(Prompt engineering)
- 프롬프트 엔지니어링(prompt engineering)은 모델의 가중치를 바꾸지 않고, 애플리케이션에 필요한 출력을 내도록 언어 모델에 주는 지시와 예시를 작성하고, 구성하고, 테스트하는 일입니다.
- 퓨샷 프롬프팅
- 퓨샷 프롬프팅(few-shot prompting)은 프롬프트 안에 작업의 풀이 예시 몇 개를 넣어, 언어 모델이 재학습 없이 새로운 입력에 그 패턴을 따라 하게 하는 방법입니다.
- 제로샷(Zero-shot)
- 제로샷(zero-shot)은 프롬프트에 예시도, 작업별 학습도 없이 지시만으로 모델에게 작업을 시키는 것입니다. 모델은 이미 배운 것에만 의존합니다.
- 테스트 타임 컴퓨트(Test-time compute)
- 테스트 타임 컴퓨트(test-time compute)는 모델이 학습 중이 아니라 요청에 답하는 동안 쓰는 연산량입니다. 모델이 더 오래 생각하거나 여러 답을 시도하게 하면 어려운 문제에서 결과가 좋아질 수 있습니다.