본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

Top-p 샘플링(Top-p sampling)

Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.

다른 이름: nucleus sampling, top-k, top-k sampling

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

모델이 텍스트를 생성할 때 가능한 모든 다음 토큰에는 저마다 확률이 있습니다. 전부에서 샘플링하면 드물고 이상한 토큰이 끼어들 수 있습니다. 항상 가장 가능성 높은 토큰 하나만 고르면 밋밋하고 반복적인 텍스트가 나오기 쉽습니다. Top-p 샘플링은 그 둘 사이에 있습니다.

작동 방식

후보 토큰을 가능성이 높은 순서로 정렬합니다. 합계가 p, 예를 들어 0.9를 넘을 때까지 확률을 더합니다. 그 집합을 남기고 나머지는 버린 뒤, 남은 것에서 샘플링합니다. 모델이 확신할 때는 집합에 토큰이 몇 개뿐일 수 있습니다. 확신하지 못할 때는 집합이 커집니다. 이렇게 크기가 적응한다는 점이 top-k와의 주된 차이입니다.

기원

Holtzman 등은 "The Curious Case of Neural Text Degeneration"(2019)에서 nucleus 샘플링을 소개했습니다. 이들은 가능도를 디코딩 목표로 쓰면 밋밋하고 반복적인 텍스트가 나오며, 분포의 동적인 핵(nucleus)에서 샘플링하면 덜 믿을 만한 꼬리를 없애면서도 다양성을 유지한다는 것을 발견했습니다.

Top-k 샘플링

Top-k는 확률이 어떻게 퍼져 있든 고정된 수의 후보, 즉 가능성이 가장 높은 k개 토큰을 남깁니다. 더 단순하지만, 모델이 확신할 때는 선택지를 너무 많이, 확신하지 못할 때는 너무 적게 남길 수 있습니다. 일부 API는 두 설정을 모두 제공합니다.

temperature와의 차이

Temperature는 분포 전체의 모양을 바꾸고, top-p는 분포를 잘라 냅니다. 둘 다 추론 시점에 작동하며 모델 자체는 전혀 바꾸지 않습니다.

왜 중요한가

대부분의 개발자에게 이것들은 설계 결정이 아니라 조정 손잡이입니다. 기본값은 대개 합리적입니다. 정답이 하나인 작업에는 낮은 값이, 열린 글쓰기에는 높은 값이 맞습니다.

관련 용어

Temperature(샘플링)
temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
토큰(LLM)
토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.

출처