본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

Temperature(샘플링)

temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.

다른 이름: sampling temperature

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

각 단계에서 대규모 언어 모델은 가능한 모든 다음 토큰에 대한 확률을 만듭니다. temperature는 하나를 고르기 전에 그 확률을 다시 조정합니다. 낮추면 분포가 뾰족해져 가능성 높은 토큰이 더욱 가능성이 높아집니다. 높이면 분포가 평평해져 가능성 낮은 토큰이 더 자주 뽑힙니다.

작동 방식

temperature는 모델의 원시 점수를 확률로 바꾸는 softmax 단계 전에 그 점수를 나눕니다. Hugging Face의 텍스트 생성 가이드는 temperature를 낮추는 것이 분포를 뾰족하게 만들어, 확률이 높은 단어의 가능성은 높이고 낮은 단어의 가능성은 낮춘다고 설명합니다. 0에 가까우면 샘플링은 거의 항상 최상위 토큰을 고르는 것처럼 동작합니다.

설정 방법

- 낮은 temperature는 추출, 분류, 코드, 그리고 정답이 하나인 모든 작업에 맞습니다. - 높은 temperature는 브레인스토밍, 다양한 표현, 창작 글쓰기에 맞습니다.

범위와 기본값은 제공업체마다 다르니, 호출하는 모델의 API 레퍼런스를 확인하십시오.

top-p와의 차이

Top-p 샘플링은 분포에서 가능성 낮은 꼬리를 잘라 내고 남은 것에서 샘플링합니다. temperature는 분포 전체의 모양을 바꿉니다. 흔한 경험칙은 하나만 조정하고 다른 하나는 기본값으로 두는 것입니다.

한계

temperature가 낮다고 모델이 정확해지지는 않습니다. 더 일관되게 만들 뿐이며, 일관되게 틀리는 것도 포함됩니다. 호출마다 똑같은 출력을 약속하지도 않습니다. 형식이 확실해야 한다면 구조화된 출력을, 사실이 필요하다면 그라운딩을 쓰십시오.

관련 용어

대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
Top-p 샘플링(Top-p sampling)
Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.
토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
구조화된 출력(Structured output)
구조화된 출력(structured output)은 언어 모델의 응답이 직접 정의한 형식, 보통 JSON schema를 따르게 하는 API 기능입니다. 그래서 코드가 자유 텍스트를 긁어내는 대신 응답을 안정적으로 파싱할 수 있습니다.
환각(AI)
환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.

출처