Top-p 샘플링(Top-p sampling)
Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.
다른 이름: nucleus sampling, top-k, top-k sampling
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델이 텍스트를 생성할 때 가능한 모든 다음 토큰에는 저마다 확률이 있습니다. 전부에서 샘플링하면 드물고 이상한 토큰이 끼어들 수 있습니다. 항상 가장 가능성 높은 토큰 하나만 고르면 밋밋하고 반복적인 텍스트가 나오기 쉽습니다. Top-p 샘플링은 그 둘 사이에 있습니다.
작동 방식
후보 토큰을 가능성이 높은 순서로 정렬합니다. 합계가 p, 예를 들어 0.9를 넘을 때까지 확률을 더합니다. 그 집합을 남기고 나머지는 버린 뒤, 남은 것에서 샘플링합니다. 모델이 확신할 때는 집합에 토큰이 몇 개뿐일 수 있습니다. 확신하지 못할 때는 집합이 커집니다. 이렇게 크기가 적응한다는 점이 top-k와의 주된 차이입니다.
기원
Holtzman 등은 "The Curious Case of Neural Text Degeneration"(2019)에서 nucleus 샘플링을 소개했습니다. 이들은 가능도를 디코딩 목표로 쓰면 밋밋하고 반복적인 텍스트가 나오며, 분포의 동적인 핵(nucleus)에서 샘플링하면 덜 믿을 만한 꼬리를 없애면서도 다양성을 유지한다는 것을 발견했습니다.
Top-k 샘플링
Top-k는 확률이 어떻게 퍼져 있든 고정된 수의 후보, 즉 가능성이 가장 높은 k개 토큰을 남깁니다. 더 단순하지만, 모델이 확신할 때는 선택지를 너무 많이, 확신하지 못할 때는 너무 적게 남길 수 있습니다. 일부 API는 두 설정을 모두 제공합니다.
temperature와의 차이
Temperature는 분포 전체의 모양을 바꾸고, top-p는 분포를 잘라 냅니다. 둘 다 추론 시점에 작동하며 모델 자체는 전혀 바꾸지 않습니다.
왜 중요한가
대부분의 개발자에게 이것들은 설계 결정이 아니라 조정 손잡이입니다. 기본값은 대개 합리적입니다. 정답이 하나인 작업에는 낮은 값이, 열린 글쓰기에는 높은 값이 맞습니다.
관련 용어
- Temperature(샘플링)
- temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 토큰(LLM)
- 토큰(LLM token)은 언어 모델이 읽고 쓰는 텍스트의 기본 단위로, 보통 단어, 단어의 일부, 문장 부호, 바이트 하나입니다. 가격, 속도, 컨텍스트 한도는 모두 토큰 단위로 계산합니다.
- 추론(인퍼런스)
- 추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.