본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

프롬프트와 컨텍스트

모델에 지시하는 방법과 모델이 보는 내용, 돌려주는 내용을 제어하는 방법입니다.

Temperature(샘플링)
temperature는 언어 모델의 단어 선택이 얼마나 무작위적인지 조절하는 샘플링 설정입니다. 값이 낮으면 가장 가능성 높은 토큰을 선호하고, 값이 높으면 가능성이 낮은 토큰까지 선택이 퍼집니다.
Top-p 샘플링(Top-p sampling)
Top-p 샘플링(top-p sampling), 또는 nucleus 샘플링은 합한 확률이 기준치 p에 이르는 가장 작은 후보 집합에서만 다음 토큰을 골라, 가능성 낮은 토큰의 긴 꼬리를 잘라 냅니다.
구조화된 출력(Structured output)
구조화된 출력(structured output)은 언어 모델의 응답이 직접 정의한 형식, 보통 JSON schema를 따르게 하는 API 기능입니다. 그래서 코드가 자유 텍스트를 긁어내는 대신 응답을 안정적으로 파싱할 수 있습니다.
그라운딩
그라운딩(grounding)은 언어 모델의 답을 검색 결과, 문서, 데이터베이스 같은 구체적이고 확인 가능한 출처에 묶어, 그 주장이 학습 데이터만이 아니라 제공된 근거에 기반하게 하는 것입니다.
사고의 사슬(Chain-of-thought)
사고의 사슬(CoT, chain-of-thought)은 언어 모델이 최종 답 전에 중간 추론 단계를 적게 하는 프롬프팅 방법으로, 수학, 논리, 기타 여러 단계가 필요한 문제에서 결과를 개선하는 경향이 있습니다.
시스템 프롬프트(System prompt)
시스템 프롬프트(system prompt)는 애플리케이션이 사용자 메시지보다 먼저 언어 모델에 보내는 지시 블록입니다. 대화 전체에 걸쳐 모델의 역할, 규칙, 어조, 출력 형식을 정합니다.
제로샷(Zero-shot)
제로샷(zero-shot)은 프롬프트에 예시도, 작업별 학습도 없이 지시만으로 모델에게 작업을 시키는 것입니다. 모델은 이미 배운 것에만 의존합니다.
출력 토큰(Output tokens)
출력 토큰(output tokens)은 언어 모델이 응답에서 생성하는 토큰입니다. 입력 토큰과 따로 계산되고 청구되며, max_tokens 설정으로 응답 하나에 담길 수 있는 수의 상한을 정합니다.
컨텍스트 엔지니어링
컨텍스트 엔지니어링(context engineering)은 작업 동안 언어 모델의 컨텍스트 윈도에 들어가는 모든 것을 고르고 관리하는 일입니다. 지시, 검색한 문서, 도구 정의, 도구 결과, 대화 기록이 여기에 포함됩니다.
퓨샷 프롬프팅
퓨샷 프롬프팅(few-shot prompting)은 프롬프트 안에 작업의 풀이 예시 몇 개를 넣어, 언어 모델이 재학습 없이 새로운 입력에 그 패턴을 따라 하게 하는 방법입니다.
프롬프트 엔지니어링(Prompt engineering)
프롬프트 엔지니어링(prompt engineering)은 모델의 가중치를 바꾸지 않고, 애플리케이션에 필요한 출력을 내도록 언어 모델에 주는 지시와 예시를 작성하고, 구성하고, 테스트하는 일입니다.