프롬프트와 컨텍스트
모델에 지시하는 방법과 모델이 보는 내용, 돌려주는 내용을 제어하는 방법입니다.
- Temperature(샘플링)
- temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.
- Top-p 샘플링(Top-p sampling)
- Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.
- 구조화된 출력(Structured output)
- 구조화된 출력(structured output)은 언어 모델의 응답이 직접 정의한 형식, 보통 JSON schema를 따르게 하는 API 기능입니다. 그래서 코드가 자유 텍스트를 긁어내는 대신 응답을 안정적으로 파싱할 수 있습니다.
- 그라운딩
- 그라운딩(grounding)은 언어 모델의 답을 검색 결과, 문서, 데이터베이스 같은 구체적이고 확인 가능한 출처에 묶어, 그 주장이 학습 데이터만이 아니라 제공된 근거에 기반하게 하는 것입니다.
- 사고의 사슬(Chain-of-thought)
- 사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
- 시스템 프롬프트(System prompt)
- 시스템 프롬프트(system prompt)는 애플리케이션이 사용자 메시지보다 먼저 언어 모델에 보내는 지시 블록입니다. 대화 전체에 걸쳐 모델의 역할, 규칙, 어조, 출력 형식을 정합니다.
- 제로샷(Zero-shot)
- 제로샷(zero-shot)은 프롬프트에 예시도, 작업별 학습도 없이 지시만으로 모델에게 작업을 시키는 것입니다. 모델은 이미 배운 것에만 의존합니다.
- 출력 토큰(Output tokens)
- 출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
- 컨텍스트 엔지니어링
- 컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
- 퓨샷 프롬프팅
- 퓨샷 프롬프팅(few-shot prompting)은 프롬프트 안에 작업의 풀이 예시 몇 개를 넣어, 언어 모델이 재학습 없이 새로운 입력에 그 패턴을 따라 하게 하는 방법입니다.
- 프롬프트 엔지니어링(Prompt engineering)
- 프롬프트 엔지니어링(prompt engineering)은 모델의 가중치를 바꾸지 않고, 애플리케이션에 필요한 출력을 내도록 언어 모델에 주는 지시와 예시를 작성하고, 구성하고, 테스트하는 일입니다.