본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

pass@k

pass@k는 코드 벤치마크의 지표로, 한 문제에 대해 생성한 해답 k개 중 적어도 하나가 단위 테스트를 통과할 확률을 나타냅니다. pass@1은 한 번의 시도가 성공할 확률입니다.

다른 이름: pass@1, pass@10, pass@100

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

코드는 실행해서 확인할 수 있습니다. 그래서 HumanEval 같은 코딩 벤치마크는 모델의 코드를 참조 답안과 비교하는 대신 단위 테스트를 실행하고, 코드가 통과하면 문제를 푼 것으로 셉니다. pass@k는 모델에게 k번의 기회가 주어지면 적어도 하나가 작동할 가능성이 얼마나 되는지 묻습니다.

계산 방법

이 지표는 2019년 Kulal 등이 사용했고, OpenAI의 2021년 Codex 논문이 표준으로 만들었습니다. 정확히 k개를 뽑아 확인하면 수치의 변동이 크므로, 논문은 문제마다 n개 샘플을 생성하고(n = 200 사용) 통과한 c개를 센 뒤, n, c, k로 pass@k의 불편 추정치를 계산합니다. 논문은 이를 위한 짧은 numpy 함수를 함께 제공합니다.

수치 읽는 법

pass@1은 대부분의 사람이 코딩 어시스턴트를 쓰는 방식과 맞습니다. 답 하나를 받아 쓰거나 버립니다. pass@10이나 pass@100은 재시도와 승자를 고를 테스트 스위트가 있을 때 모델이 할 수 있는 것을 보여 줍니다. Codex는 HumanEval 문제의 28.8%를 pass@1로, 70.2%를 샘플 100개로 풀었으며, 이는 k에 따라 수치가 얼마나 달라지는지 보여 줍니다. 모델 비교는 같은 k, 샘플링 temperature, 프롬프트에서만 하십시오.

pass@k와 pass^k

τ-bench는 pass^k라고 쓰는 관련 지표를 쓰며, 이는 에이전트가 같은 과제의 k번 시도에서 모두 성공하는지 묻습니다. pass@k는 운 좋은 한 번의 성공을 보상하고, pass^k는 일관성을 보상합니다. 사람 없이 돌아가는 에이전트라면 pass^k가 더 많은 것을 말해 주는 경우가 많습니다. 이 지표들이 더 넓은 테스트 계획에 어떻게 들어맞는지는 LLM 평가를 참고하십시오.

관련 용어

HumanEval
HumanEval은 OpenAI가 2021년에 공개한 코드 생성 벤치마크입니다. 함수 시그니처, docstring, 단위 테스트를 갖춘 손으로 쓴 Python 문제 164개로, 모델이 실제로 동작하는 코드를 쓰는지 확인합니다.
SWE-bench
SWE-bench는 인기 Python 프로젝트의 실제 GitHub 이슈로 만든 코딩 벤치마크입니다. 모델이나 에이전트는 저장소를 수정해 이슈를 고치고 프로젝트의 숨겨진 테스트를 통과시켜야 합니다.
LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
AI 벤치마크
AI 벤치마크(AI benchmark)는 합의된 채점 방법을 갖춘 고정된 공개 과제 모음으로, 같은 시험으로 모델을 비교하는 데 씁니다. 해결한 코딩 이슈, 맞힌 시험 문제, 여러 데이터셋에 걸친 검색 품질 등을 잽니다.
τ-bench
τ-bench(tau-bench)는 시뮬레이션된 고객 서비스 대화에서 AI 에이전트를 시험하는 벤치마크입니다. 언어 모델이 사용자 역할을 하고, 에이전트는 서면 정책 규칙을 지키면서 도메인 API 도구를 써야 합니다.

출처